Pedro Alves da Veiga
PT EN

You&Me (a infinita constelação dos nossos sentidos)

Obra interativa2018

You&Me (a infinita constelação dos nossos sentidos) é um projeto de arte generativa interativa. Nasce como contracorrente a um crescente encapsulamento dos indivíduos dentro de um casulo tecnológico, que tudo medeia e interliga.

Se é verdade que me sinto hoje mais ligado do que nunca a estímulos, informação e conteúdos multimédia de todos os tipos, a verdade é que essa híper-conexão parece inclusivamente sobrepor-se às ligações diretas, não mediadas pela tecnologia, entre mim e os outros, ou até mesmo com o mundo ao meu redor.

Este projeto traduz-se, assim, numa vontade de querer questionar esse fenómeno, usando a mesma tecnologia que o promove como arma de combate. Procurei criar uma experiência de comunicação, estética e cognitiva, usando a tecnologia para promover a interação pessoal e local, sem descurar aspetos lúdicos, dinâmicos e estéticos.

A proposta inicial foi apresentada a concurso no âmbito do projeto INVITRO-Gerador (REALTIME RUNTIME PEOPLE), e foi uma das quatro candidaturas selecionadas.

A inspiração para este projeto teve três focos distintos:

  • Um social e atual, correspondendo à constatação da aparente e sentida prioridade com que a comunicação mediada pela tecnologia se apresenta face à comunicação humana direta, sem mediação, olhos nos olhos, da boca ao ouvido. Uma notificação, mensagem ou chamada no telemóvel interrompe qualquer contacto presencial – ou impede, até, o seu início. A apreciação da beleza confunde-se com o seu efémero registo fotográfico digital e subsequente partilha nas redes sociais.
  • O segundo foco foi a natureza da interação, a forma como os visitantes iriam influenciar a evolução do sistema. Inicialmente ponderei a utilização do toque, através de vários sensores. Mas esse toque seria sempre uma tradução do estímulo direto através de mediação tecnológica, que desejava evitar. Por outro lado, a falta de toque físico, o gesto no ar que causa um efeito, assume um caráter metafísico, de algo que ultrapassa a tecnologia e nos leva para ambientes mágicos, simbólicos, estimulantes e ricos. E assim surgiu a ideia de, com combinações de três gestos significativos – a palma aberta para fora, o sinal de vitória e o punho fechado – gerar um código combinatório secreto de três sinais, combinados dois a dois, envolvendo assim ambas as mãos. Desta forma também se impede o visitante de manipular qualquer outro dispositivo tecnológico para capturar registos enquanto interage com a instalação, mantendo a sua atenção focada.
  • A terceira origem foi um poema, que surgiu já depois de ter definido que a obra se destinaria a dois utilizadores, e que os iria ligar presencial, direta e umbilicalmente, embalados pela motivação primordial do jogo e da descoberta colaborativa – e não competitiva. Veio, assim, à memória o belíssimo poema de Casimiro de Brito, “O Amigo”, e a simbologia rica em imagens que em poucas linhas ele encerra. Através da mediação das redes sociais (!) estabeleci contacto com o poeta e mostrei-lhe um pequeno vídeo, elaborado já em estado avançado de desenvolvimento do projeto, explicando-lhe a relação com a sua obra. Posteriormente pedi ainda a sua autorização para transcrever “O Amigo” na apresentação do presente projeto. Fica aqui o meu sincero agradecimento pela sua generosidade e atenção, com que muito me honrou.

O conceito do projeto desde logo assentou numa aplicação generativa codificada em Processing 3.*, linguagem de programação de eleição para a minha expressão artística digital, e capaz de garantir a ligação a uma variedade de dispositivos.

Inicialmente todos os testes foram realizados com base em qualquer movimento captado através de uma vulgar câmara (webcam), apenas se distinguindo o lado esquerdo e o lado direito da zona de captação. Numa fase mais avançada do projeto, optei pela câmara Kinect 2, da Microsoft, para melhor poder destrinçar movimentos, através da deteção e análise de esqueletos e profundidade que ela permite. Contudo, esta escolha acarretou alguns problemas inesperados, porque a câmara foi descontinuada pela Microsoft, e o último driver oficial padece de problemas conhecidos quando utilizado em ambiente Windows 10.

A componente informática da obra é suportada por um computador pessoal, com um ecrã não inferior a 21”, que permite aos visitantes ativos terem feedback visual das suas prestações, dando-lhes corpo num espaço virtual.

Mas foi importante criar também um espaço físico, que situasse os visitantes, definindo áreas para cada um, sugerindo um posicionamento relativo, e que contivesse elementos que permitissem relacionar sem esforço o físico e o digital: um espaço aumentado onde se desenrolasse a experiência estética, cognitiva e lúdica, na sua plenitude.

São, por isso, utilizados vários elementos, nomeadamente um manequim de fibra de vidro pintado a branco, 4 cabos de elwire vermelho, com 5 metros cada, dois modelos anatómicos de um coração humano, em borracha vermelha, e dois tapetes para definir o posicionamento dos visitantes ativos, de cada lado do manequim.

O conjunto é completado por um projetor de vídeo, que duplica as imagens mostradas no ecrã, projetando-as sobre as cabeças dos visitantes ativos na instalação.

Diário de processo

9 entradas
  1. #108.03.2018

    O início

    Apresentação da proposta, uma das quatro selecionadas no concurso Realtime Runtime People. Uma obra generativa interativa contra o efeito "bolha" da tecnologia, inspirada num poema de Casimiro de Brito. Esboça a sinopse técnica (Processing e Arduino, dois postos de interação afastados que só em conjunto desbloqueiam a versão mais dinâmica do sistema) e reúne imagens de referência e um primeiro teste em Processing.

    Texto original

    You&Me (a infinita constelação dos nossos sentidos) é um projeto de arte generativa interativa, motivado pela constatação do efeito “bolha” que a tecnologia tem sobre as vidas reais, encapsulando o indivíduo numa esfera onde ele se sente constantemente ligado a estímulos e conteúdos de vária ordem, que frequentemente se sobrepõem, em termos de importância e prioridade, aos estímulos e conteúdos diretos, do mundo físico ao seu redor. Este projeto traduz-se, assim, numa vontade de querer contrariar esse efeito, usando a mesma tecnologia que o promove como arma de combate, para construir um conjunto de estímulos sensoriais altamente recompensadores.

    Esta proposta foi apresentada a concurso no âmbito do projeto Realtime Runtime People (RRP), e foi uma das quatro selecionadas. O projeto RRP é operacionalizado pela ARTECH-International, a Universidade Aberta, o Centro de Investigação em Artes e Comunicação (CIAC), a International Society for Education through Art (InSEA) e a Associação de Professores de Expressão e Comunicação Visual (APECV).

    INSPIRAÇÃO

    O Amigo

    1.
    Um amigo, o primeiro amigo
    dentro da nuvem de um sonho.

    O impossível toca-nos as mãos
    subitamente — o fogo, a flor concêntrica
    de planetas no exílio.

    Na terra do silêncio
    os frutos caem
    de sua própria vontade.

    2.
    Ao coração das coisas,
    ao jugo das cores da memória,
    ao pequeno desvio da sombra no deserto,
    ao amor que nos alimenta de morte, à morte
    que morre connosco
    opomos a infinita
    constelação
    dos nossos sentidos.

    Casimiro de Brito, in "Jardins de Guerra"

    Os termos assinalados a negrito são altamente sugestivos, quer em termos visuais, quer sonoros, e constituem a principal fonte de inspiração para a obra generativa que irá ser desenvolvida.

    Algumas imagens de referência:

    Teste já realizado por mim para este projeto, em Processing:

    Atratores de Lorenz (imagem de The Institute for Advanced Architecture of Catalonia):

    SINOPSE

    O conceito do projeto assenta numa aplicação desenvolvida em Processing e Arduino, em que (pelo menos) dois terminais de interação se encontram em sítios distintos do mesmo espaço, de forma a que o acesso simultâneo a mais do que um terminal seja impossível a um só indivíduo.

    Cada terminal estará dotado de sensores (potenciómetros, sensores capacitivos, ou outros a definir) e a ação desses sensores incidirá sobre parâmetros da obra generativa, que será projetada. A deteção da presença junto de cada posto de interação far-se-á também através de sensores.

    É possível a utilização individual de cada posto de interação, embora seja recompensada com uma versão menos dinâmica do sistema. Só com a confirmação de dois (ou mais) sensores ultrassónicos, e a subsequente atuação conjunta dos sensores, a excitação do sistema generativo audiovisual atinge o seu clímax.

    Essa excitação é obtida a partir de um crescendo que motive os visitantes a permanecer junto aos postos e a manipularem-nos, e esse crescendo será marcado por fatores visuais (cores mais saturadas e luminosas, maior velocidade de deslocação dos elementos visuais, maior ocupação da área útil), semânticos (a apresentação de mensagens de texto ou áudio) e sonoros (crescendo de intensidade sonora, frequências e ritmos mais elevados), traduzindo o subtítulo da obra: a infinita constelação dos nossos sentidos.

    Caso não sejam detetados entraves (técnicos, financeiros, etc.), cada posto de interação poderá ser dotado de mais do que um sensor de tipos distintos, interruptores, potenciómetros, sensíveis ao toque, luz, etc., com vista a um maior número de variações possíveis sobre os parâmetros da obra. Poderá também ser estudada a colocação de atuadores / feedbacks visuais (como LEDs, por exemplo) em cada posto de interação, para uma maior riqueza de estímulos. Poder-se-á ainda equacionar a construção de mais postos de interação, sempre dentro do conceito inicial, de que o resultado da ação conjunta irá sempre superar os individuais.

    A instalação consiste em (pelo menos) dois postos de interação, eventualmente com estética Steam Punk, e (idealmente) um écran de grandes dimensões (projeção). Os postos de interação deverão ter uma altura na ordem de 1.10m e a área física ocupada individualmente não deverá exceder 0,4m x 0,4m. A sua distância máxima ao sistema de processamento (computador e Arduino) será determinada por eventuais limitações de ordem técnica (perda de sinal em cabos excessivamente longos, por exemplo).

    Algumas imagens de referência:

    EQUIPAMENTO NECESSÁRIO

    Computador recente com Processing 3.1 ou superior, dual core ou quad core, cabos de ligação, Arduino, sensores ultrassónicos e outros, material de suporte para construção dos postos de interação (MDF, metal, LEDs, cabos), projetor short throw ou ultra-short throw.

  2. #209.03.2018

    Eletrónica, internet, compras e decisões

    Primeiras decisões sobre a eletrónica, desenvolvida pelo autor sem recurso a terceiros. Levantamento de sensores de toque e proximidade que convidem o visitante a tocar e respondam com feedback audiovisual imediato.

    Texto original

    Tendo o conceito do projeto estabilizado, importa começar a detalhar aspetos técnicos, e a parte que será mais complexa para mim – já que todo o desenvolvimento é assegurado por mim, sem recurso a terceiros – é sem dúvida a eletrónica.

    Nesse sentido comecei a explorar a gama de sensores que poderiam corresponder a uma utilização simples e direta, sem necessidade de explicação.

    A intenção é a de que os visitantes se sintam compelidos a tocar nas peças, e o simples toque possa desencadear as alterações nos parâmetros da programação generativa, tendo assim feedback audiovisual imediato. Há peças óbvias, como interruptores e potenciómetros, que eu poderia usar, até numa estética Steampunk.

    Por outro lado gostaria de ampliar os meus próprios conhecimentos e horizontes, e por isso aqui ficam alguns dos tipos de sensores que estou a investigar com vista a uma eventual integração no projeto:

  3. #323.03.2018

    Grafismos e dinamismo interativo digital

    Exploração da resposta gráfica e animada. Dois corações realistas, representações de You & Me, evoluem de forma independente; a instalação procura aproximá-los em sincronia e, quando se sobrepõem, desencadeia um crescendo de luz, som e movimento.

    Texto original

    Paralelamente à exploração dos dispositivos de interação, dedico-me também a explorar os aspetos reativos a essa mesma interação, nomeadamente gráficos e de animação.

    O conceito está neste momento centrado em dois corações realistas, animados, representações diretas de You & Me, que podem evoluir independentemente um do outro, sendo o objetivo da instalação fazer com eles possam evoluir de forma sincronizada e harmoniosa, aproximando-se um do outro.

    Essa aproximação irá influenciar outros parâmetros das animações. A partir do momento em que os corações se sobrepõem, haverá um crescendo rápido de intensidade, luminosa, sonora e dinâmica, celebrando essa união.

  4. #424.04.2018

    Narrativa, ações, interações e feedback visual

    Definição da narrativa. Cada indivíduo é um coração, num estado inicial de flutuação; as ações de cada um aproximam ou afastam os corações, dando-lhes ou retirando-lhes vitalidade, segundo vários tipos de amor (philos, eros, ágape, storge, entre outros).

    Texto original

    Cada indivíduo é um coração. Cada coração um símbolo de vida, mas também de sentimento.

    A existência humana pode ser vivida num estado de aparente proximidade (entre corações), sem que exista um relacionamento. É o estado de flutuação.

    Cada coração pode escolher determinadas ações que irão provocar uma aproximação, seja ela do tipo philos, eros, ágape, narcisista, storge, platónico ou maníaco. Existem ações que aproximam os corações, e outras que os afastam, ações que dão vitalidade ou que a retiram.

  5. #527.04.2018

    Aproximação final aos grafismos interativos

    O comportamento visual fixa-se em seis momentos, cada um ligado a um segmento do poema. A interação é testada com uma câmara de vídeo dividida ao meio, que simula os dois interatores.

    Texto original

    Os corações flutuantes tendem a aproximar-se. Ao atingir um determinado nível de proximidade, eles são inexoravelmente atraídos um para o outro, e quando se tocam unem-se em criação, harmonia, partilha, contacto.

    Os seis momentos basilares que definem o comportamento da instalação relacionam-se diretamente com o poema que lhe serviu de inspiração:

    (1)
    Um amigo, o primeiro amigo
    dentro da nuvem de um sonho.

    (2)
    O impossível toca-nos as mãos
    subitamente — o fogo, a flor concêntrica
    de planetas no exílio.

    (3)
    Na terra do silêncio
    os frutos caem
    de sua própria vontade.

    (4)
    Ao coração das coisas,
    ao jugo das cores da memória,

    (5)
    ao pequeno desvio da sombra no deserto,
    ao amor que nos alimenta de morte, à morte
    que morre connosco

    (6)
    opomos a infinita
    constelação
    dos nossos sentidos.

    Para simular a existência de dois interatores, utilizei a câmara de vídeo, assumindo uma divisão ao meio. O movimento detetado do lado esquerdo corresponde a um utilizador, e do lado direito a outro. Consegue-se assim simular diferentes inputs para cada um dos lados criando movimento à esquerda ou à direita, ou em ambos os lados para provocar a convergência.

  6. #601.05.2018

    Revisitando os postos de interação

    Revisão dos postos de interação à luz dessas opções. Seis ícones para os seis segmentos do poema, três tipos de sensor em análise (pressão, capacitivo, distância) e interfaces em chapa metálica cortada a laser.

    Texto original

    Depois de fixar a parte gráfica/programação do projeto, os postos de interação (para dois utilizadores simultâneos) precisavam de ser revistos face às opções entretanto tomadas.

    Face à opção de dividir o poema em seis segmentos, todos eles identificados com alguns elementos gráficos intimamente ligados às ideias e imagens expressas, identifiquei seis ícones:

    Estes ícones irão identificar as zonas de interação seguindo várias abordagens, conforme o tipo de sensores escolhidos. Para simplificar a tarefa, identifiquei um subconjunto de sensores que me pareceram mais interessantes, quer através de toque e pressão, que de medição de distância (sem toque).

    Sensor simples de pressão.

    Sensor capacitivo, funciona ligado a objetos metálicos ou condutores (contendo água, como é o caso das frutas).

    Sensor de medição de distância (afastamento) e posição (horizontal).

    As três interfaces em análise neste momento irão ser produzidas através de corte a laser de chapa metálica, com um dos seguintes layouts:

  7. #702.05.2018

    Reflexão sobre o conceito

    Reflexão sobre a forma como o desenvolvimento técnico altera o próprio conceito. Os símbolos dos seis momentos convergem no título do poema, "O Amigo", e o gesto de pôr a mão sobre o coração surge como nova hipótese de interface, apoiada em literatura científica e num texto de Ursula K. Le Guin sobre "mutual phase locking".

    Texto original

    É curioso constatar como o processo de desenvolvimento tecnológico está tão interligado com o próprio conceito. Eu explico: é normal assumir que o conceito determina o desenvolvimento, havendo assim uma passagem "natural" de influência num sentido, do conceito para o desenvolvimento. Mas a verdade é que as opções tomadas durante o desenvolvimento também afetam o próprio conceito, sobretudo a um nível inconsciente.

    No início, o poema de Casimiro de Brito era uma presença quase indissociável do desenvolvimento, chegando a considerar mostrar os vários versos à medida que se progredia na revelação do todo. Depois de identificar seis momentos chave e de os tentar resumir a um conjunto de palavras-chave, relacionando-as com imagens, constato que os símbolos obtidos contêm a essência do nome do poema: o amigo.

    As mãos e o toque, os sentidos e o olhar, os segredos guardados no coração das coisas, os sonhos, os frutos da amizade e a morte são, de facto, etapas essenciais dos nossos relacionamentos.

    Por outro lado existe ainda um gesto simbólico bastante significativo, que é o de colocar a mão sobre o coração, como expressão de sinceridade, de sentimento, de honestidade.

    Encontrei inclusivamente alguma literatura científica sobre este tema e temas relacionados (mãos, toque, coração, energia), pelo que provavelmente a interface será mais uma vez revista para acomodar esta opção: mão sobre coração.

    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3904064/

    https://link.springer.com/article/10.1007/s10339-014-0606-4

    https://www.tandfonline.com/doi/abs/10.1080/02640414.2016.1215501

    https://www.heartmath.org/research/research-library/energetics/energetic-heart-bioelectromagnetic-communication-within-and-between-people/

    https://www.heartmath.org/research/research-library/energetics/electricity-of-touch/

    Um outro tópico interessante – mutual phase locking – é abordado por Ursula K. Le Guin no texto “Telling Is Listening”, do livro "The Wave in the Mind: Talks and Essays on the Writer, the Reader, and the Imagination":

    Any two things that oscillate at about the same interval, if they’re physically near each other, will gradually tend to lock in and pulse at exactly the same interval. Things are lazy. It takes less energy to pulse cooperatively than to pulse in opposition. Physicists call this beautiful, economical laziness mutual phase locking, or entrainment.

    All living beings are oscillators. We vibrate. Amoeba or human, we pulse, move rhythmically, change rhythmically; we keep time. You can see it in the amoeba under the microscope, vibrating in frequencies on the atomic, the molecular, the subcellular, and the cellular levels. That constant, delicate, complex throbbing is the process of life itself made visible.

    We huge many-celled creatures have to coordinate millions of different oscillation frequencies, and interactions among frequencies, in our bodies and our environment. Most of the coordination is effected by synchronising the pulses, by getting the beats into a master rhythm, by entrainment.

    […]

    Like the two pendulums, though through more complex processes, two people together can mutually phase-lock. Successful human relationship involves entrainment — getting in sync. If it doesn’t, the relationship is either uncomfortable or disastrous.

    […]

    Consider deliberately sychronised actions like singing, chanting, rowing, marching, dancing, playing music; consider sexual rhythms (courtship and foreplay are devices for getting into sync). Consider how the infant and the mother are linked: the milk comes before the baby cries. Consider the fact that women who live together tend to get onto the same menstrual cycle. We entrain one another all the time.

  8. #819.06.2018

    Decisões (quase finais)

    Escolha de uma Kinect para gerir a interação, apesar das dificuldades de compatibilidade de um modelo descontinuado, e definição da componente material. Um manequim segura os dois corações e a Kinect, como materialização simbólica da amizade.

    Texto original

    Prestes a concluir o projeto You&Me (uma instalação de arte generativa interativa para dois inter-atores) decidi utilizar uma Kinect para gerir a interação com o sistema.

    As dificuldades foram surgindo, dado que o modelo que já tinha (360) só é suportado até ao Windows 7 e o último modelo já foi descontinuado pela Microsoft. Felizmente há um mercado fervilhante de artigos em segunda mão e consegui adquirir uma, com respetivo adaptador, em ótimas condições.

    Por outro lado colocava-se a eterna questão de criar uma experiência para os visitantes, com elementos materiais e virtuais.

    Dado que a parte visual/virtual está já finalizado, restava a componente material. Mantendo em mente o espírito da obra (a ligação entre dois indivíduos) acabei por chegar a uma materialização do mesmo, através de um elemento simbólico (a amizade) que segura os dois corações).

    O manequim que servirá de suporte aos corações e à Kinect também já foi adquirido, e tudo indica que a instalação final deverá ter este aspeto:

  9. #911.07.2018

    Conclusão

    Apresentação no Retiro Doutoral do Doutoramento em Média-Arte Digital (Alfama, 21 a 27 de julho de 2018). A interação final assenta em gestos das mãos, combinados por pares em cada um dos seis passos do poema, que os dois interatores têm de descobrir e comunicar um ao outro para que os seus corações se encontrem.

    Texto original

    A instalação You&Me (a infinita constelação dos nossos sentidos) foi apresentada durante o Retiro Doutoral do Doutoramento em Média-Arte Digital, em Alfama, no Centro Magalhães Lima, de 21 a 27 de julho de 2018.

    Na reta final de ajustamentos e melhorias, um dos aspetos mais importantes, ligado ao conceito inicial – a da comunicação não mediada, entre dois utilizadores – carecia de uma transposição clara para a interação humana com a instalação generativa, algo que pudesse ressaltar a importância da comunicação humana direta, sobrepondo-se à da comunicação mediada.

    Essa tradução foi terminada e acompanhada da decisão de introduzir aspetos de "gamificação", que visam assegurar, não só o cumprimento com o propósito acima descrito, mas também dotar de simbolismo adicional essa mesma interação, que se pretende semanticamente rica e, simultaneamente, lúdica.

    Para chegar à solução final, usei novamente o poema de Casimiro de Brito como fonte de inspiração, em particular estas palavras: "O impossível toca-nos as mãos subitamente".

    Decidi assim basear a interação na utilização das mãos como forma de expressão, através da combinação de três gestos feitos com cada uma das mãos, pelos dois interatores, sendo que eles deverão descobrir a combinação correta e comunicá-la ao parceiro:

    A "mão aberta com palma para fora", símbolo de transparência, honestidade, franqueza.

    Um gesto que se integrou já na cultura popular mundial, conhecido como o "V", de vitória, após a Segunda Guerra Mundial, e utilizado a partir da década de 60 como gesto e símbolo de pacifismo (paz e amor).

    O "punho fechado", símbolo de poder, auto-determinação, apoio e solidariedade.

    Assim, a cada um dos seis passos de descodificação do poema, estará associado um par de gestos – o mesmo par para ambos os interatores – destinados à mão esquerda e direita.

    Quando um deles acertar na combinação correta, o "seu coração" começará a deslocar-se em direção ao outro. Para garantir que o encontro ocorre o mais brevemente possível, ele deverá comunicar essa combinação ao outro interator e, mantendo os gestos, ambos irão fazer com que os seus corações se encontrem e revelem as partes do poema.

    Encerra-se assim o projeto, incluindo a arquitetura final do sistema, que integra um computador HP AIO, uma câmara Kinect One, um projetor de vídeo, um manequim, dois corações e elwire vermelho.

Apresentações

Publicações

Sobre a obra
Comunicação em conferência

Veiga, P. A. (2018). You&Me (the infinite constellation of our senses) [Comunicação]. Artefacto 2018, Lisboa.

Sobre a obra
Livro

Veiga, P. A. (2018). You&Me (the infinite constellation of our senses). Artech International.

Citar esta obra

APA 7

Veiga, P. A. (2018). You&Me (a infinita constelação dos nossos sentidos) [Obra interativa]. https://pedroveiga.com/youme-a-infinita-constelacao-dos-nossos-sentidos/