Synesketch: visualizações sinestésicas

Synesketch é uma biblioteca artística (Java API), que permite a criação de uma visualização sinestésica a partir de “emoções textuais”. A experiência sinestésica, ou seja, a experimentação da junção de sensações percebidas por canais sensitivos diferentes, se torna possível no Synesketch através da leitura de textos. A partir de palavras emocionais chave e da percepção do contexto sentimental que ele apresenta.

Os sentimentos possíveis de se visualizar são tristeza, medo, felicidade, nojo, surpresa e raiva.  Além de sua intensidade de expressão e “valência” (positivo ou negativo) dentro do contexto e dependendo do tipo de visualização gerada.

Há dois tipos de visualizações possíveis. Uma baseada apenas em um gride de cores, chamada Hooloovoo que foca a representação de emoções  e outra, livremente inspirada no “Algorítmico de Jared Tarbell” e em gráficos de colisão de partículas, chamada synemania. As visualizações de synemania geram padrões a partir da intensidade da emoção.

syne3
Exemplo de Hooloovoo: sentimentos negativos
syne4
Exemplo de Hooloovoo, sentimentos positivos, otimistas
syne5
Progressão de sentimentos a partir da opinião sobre um filme
syne6
Progressão de sentimentos a partir da opinião sobre um filme: indicando princípio de raiva
syne7
Progressão de sentimentos a partir da opinião sobre um filme: algo surpreendeu o espectador
Synesketch_big
Da esquerda para direita, de cima para baixo: Tristeza, medo, felicidade, nojo, surpresa e raiva no sistema “synemania”

A pesquisa por trás do Synesketch tem uma abordagem muito ampla. Desde a linguagem de Processing, programa onde a biblioteca é aplicada, até psicologia das cores e visualização de dados. O nome é uma brincadeira entre sinestesia (synesthesia) e sketch, nome dado a códigos gerados no Processing.

Já foram realizadas diversas aplicações interessantes dele, desde sua criação em 2008. Uma delas foi a de letras das músicas “Thriller”, de Michael Jackson e “Shiny Happy People” de REM.

emotionlyrics_jorisklerkx-020

A biblioteca foi desenvolvida por Uroš Krčadinac, animador, pesquisador, escritor, artista e PhD pela Universidade de Belgrado, Sérvia.

Para quem usa Skype, vale a pena conferir esta extensão para o programa, que permite visualizações sinestésicas simultâneas às conversas.

Confira o vídeo que demonstra o funcionamento do projeto:

Sorry! LabVis’ blog posts are not available in English language. Check out our portfolio in Projects to know our work in English.