AUDIENCE – 20 anos de Áudio Espacial e Novas Perspectivas

Neste seminário ressaltamos 20 anos de história em pesquisa, projetos e desenvolvimentos em áudio espacial, áudio surround, orientado a objetos, depois a cenas, e, então, áudio imersivo com o sistema AUDIENCE de áudio espacial. A palestra apresenta projetos em tecnologias e estética para música 3D, em codificadores e normas MPEG e ITU, aplicações imersivas em IoS, e especula o que pode vir adiante neste cenário.

Regis Rossi A. Faria é professor associado na Universidade de São Paulo, atuando na interseção entre artes e ciências, nos campos da computação sonora e musical, engenharia de áudio, criação e recepção sonora. Ele coordena o Laboratório de Áudio e Tecnologias Musicais (LATM) vinculado à Escola de Artes, Ciências e Humanidades (EACH) da USP.

What is the Internet of Musical Things?

This talk will present the paradigm of the Internet of Musical Things, including its definition, history, latest developments, and open challenges. Various systems and applications will be discussed and showcased via videos.

Luca Turchet is an associate professor at the University of Trento. He heads the Laboratory for Creative, Intelligent, and Multisensory Interactions, coordinates the European project MUSMET, and is chair of the IEEE Emerging Technology Initiative on the “Internet of Sounds” and the Internet of Sounds Research Network.

VSAT-AUDIENCE: plataforma web para criação de histórias imersivas

Desenvolvida com base na aplicação da plataforma de criação de histórias VSAT, em conjunto com a plataforma de áudio espacial AUDIENCE, a plataforma VSAT-AUDIENCE visa permitir a criação de histórias visual e auditivamente imersivas através de uma interface web intuitiva e de fácil uso. Cada história é composta por um número de cenas, nas quais podem estar presentes uma fotografia 360°, uma faixa de áudio e um totem com texto descritivo da cena e botões de navegação entre cenas. É esperado que esta plataforma contribua com a evolução e a acessibilidade do audiovisual interativo na web.

Charles K. Neimog é compositor, professor da Universidade Estadual do Paraná e pesquisador de pós-doutorado na Universidade de São Paulo, onde obteve seu doutorado em Música. Ele desenvolve ferramentas de código aberto, incluindo pd4web, OpenScofo e py4pd, com foco em telefones celulares para criação e educação musical. Seu trabalho conecta música computacional, composição e filosofia da tecnologia, particularmente o pensamento de Bernard Stiegler.

Adiginton Jackson King Ferreira é graduado em Sistemas de Informação pela EACH-USP, e mestrando no Programa de Pós-graduação em Sistemas de Informação, com foco em soluções para escuta sonora imersiva e interativa. Já realizou pesquisas na área de fotogrametria em imagens térmicas, e desde março de 2025 está atuando como membro pesquisador do Laboratório de Áudio e Tecnologias Musicais (LATM), trabalhando em um projeto de pesquisa e desenvolvimento de uma plataforma para criação de histórias em realidade virtual com suporte para áudio espacial.

EP “Vista do Ponto” – Processos criativos disruptivos na canção popular

O uso de mídias alternativas em processos criativos na canção popular abre novas perspectivas para compositores e produtores musicais. Como exemplo, apresenta-se uma metodologia de composição multimodal utilizada no EP “Vista do Ponto”, produzido a partir dos recursos das plataformas VSAT, AUDIENCE e da integração VSAT-AUDIENCE, que combina fotografia 360°, áudio espacial e a interação entre o espectador e a canção por meio da funcionalidade sonic gazescaping.

Daniel Conti é compositor, cantor, multi-instrumentista e produtor musical. Pesquisador do LATM, é Mestre em Música pela ECA/USP e graduado em Violão Popular na Universidade Estadual de Campinas (UNICAMP) com especialização em Canção Popular pela Faculdade Santa Marcelina (SP). 

A demonstração apresentará o MPEG-H Audio, codec escolhido para a TV 3.0 brasileira (DTV+), destacando seus recursos de interatividade, personalização e áudio imersivo. Por meio de objetos de áudio, o espectador poderá controlar elementos da programação, como ajustar o volume dos diálogos em relação aos demais sons, de acordo com suas preferências. A demonstração também mostrará como o MPEG-H permite reproduzir o som de forma imersiva, ampliando as possibilidades de escuta e interação com o conteúdo transmitido pela televisão.

Ariel Henrique é mixador e supervisor de som com 18 anos de experiência e dezenas de longas-metragens, documentários e séries em sua filmografia. É professor de Mixagem na Academia Internacional de Cinema e também atua como Consultor Técnico de Áudio para o Instituto Fraunhofer no Brasil – trabalhando na implementação do codec de áudio imersivo MPEG-H em emissoras de TV brasileiras.

Ricardo Zollner é mestre em Artes pelo Instituto de Artes da Unicamp, editor de som, mixador e consultor de áudio do Fraunhofer IIS. Desde 2010, atua na pós-produção sonora de filmes de ficção, documentários e séries. A partir de 2019, passou a trabalhar com MPEG-H Audio, tecnologia de áudio imersivo e interativo, e sua implementação na televisão digital brasileira.

Demonstrações de som surround 5.1 e peças sonoras e musicais imersivas com sistema AUDIENCE.

Programação:

• Demos 5.1 diversos (15 min)
• Música 3D imersiva (15 min)

As audições serão realizadas com os ouvintes imersos dentro de um sistema de 8.1 alto-falantes cúbico montado no auditório, utilizando ainda uma soundbar para espacialização sonora e variações 5.1 e 6.1.

TV 3.0 e o protagonismo do áudio imersivo: a universidade pública brasileira no centro dos testes e debates

O cenário atual é marcado pela chegada de inovações significativas ao ecossistema televisivo, que inauguram uma nova geração da televisão brasileira, denominada TV 3.0 ou DTV+. Nesse contexto, o áudio imersivo e as diferentes soluções tecnológicas em áudio assumem um papel de destaque. A palestra apresentará as principais transformações introduzidas pelo novo padrão brasileiro de televisão, o atual estado da arte e os desafios tecnológicos envolvidos em sua implementação. Também abordará a participação da Universidade de São Paulo (USP) nos testes e nas pesquisas que contribuíram para a avaliação e a definição do sistema de áudio imersivo adotado pelo Brasil.

Deisy Feitosa é graduada em Comunicação Social – Radialismo (2007) e Jornalismo (2009) pela UFPB; mestre (2010) em TV Digital pela Unesp; doutora (2015) em Ciências da Comunicação pela ECA-USP, com estágio pós-doutoral no Diversitas–FFLCH/USP e no CTR-ECA/USP. É pesquisadora do LabArteMídia (ECA-USP) dirigido pelo prof. Almir Almas e coordenadora do Observatório Brasileiro de Televisão Digital e Convergência Tecnológica (Obted), ambos vinculados ao CTR-ECA/USP. Atualmente, é professora colaboradora da pós-graduação em Meios e Processos Audiovisuais do CTR-ECA/USP e discente do National PHD in Peace Studies, na Sapienza Università di Roma.

Design e Desenvolvimento de Plataformas para Produção e Tocadores de Música 3D

Esta apresentação aborda o fluxo de desenvolvimento da música 3D, desde o design da cena sonora e a produção musical em plataformas digitais até o processamento espacial do áudio e sua reprodução em tocadores especializados. A primeira frente explora a integração entre ferramentas de produção musical e sistemas de espacialização, destacando a organização de camadas afetivas e o movimento das fontes sonoras na narrativa e expressividade. A segunda frente trata do desenvolvimento de uma plataforma tocadora para música 3D compatível com formatos de áudio 3D e que permite ao usuário interagir com a cena sonora durante a reprodução, e controlar sua participação na experiência de escuta. Discutimos como ferramentas de criação, tecnologias de processamento e interfaces de reprodução podem se articular para transformar o espaço em um componente expressivo da música, conectando as decisões do artista às possibilidades de interação oferecidas ao ouvinte.

Gustavo Ian é graduando em Sistemas de Informação na Escola de Artes, Ciências e Humanidades da Universidade de São Paulo (EACH-USP), além de cantor, instrumentista e compositor sob o pseudônimo artístico zsoe. Há cerca de um ano, integra o Laboratório de Áudio e Tecnologias Musicais (LATM) por meio do Programa Unificado de Bolsas da USP (PUB/USP), desenvolvendo uma pesquisa de Iniciação Científica voltada à computação criativa e à investigação de ferramentas para a produção e o consumo de música digital em ambientes de realidade virtual sonora.

Guilherme Pereira é graduando em Sistemas de Informação na Escola de Artes, Ciências e Humanidades da Universidade de São Paulo (EACH-USP), desenvolve o “projeto Evil en Lucifer” de uma arquitetura de um sistema de streaming musical com motor de áudio nativo e restauração sonora assistida por DSP e o projeto spin-off  do aplicativo “AUDIENCE player” compatível com MPEG-H no LATM.

Do Som à Sensação: os caminhos para a Internet das Coisas Multissensoriais, Multimídia e Musicais (Io3MT)

A palestra apresenta a Internet das Coisas Multissensoriais, Multimídia e Musicais (Io3MT), um paradigma que integra dados, dispositivos e conteúdos relacionados aos cinco sentidos humanos, à multimídia e à música em um ecossistema conectado. Serão apresentados o modelo de referência desenvolvido para esse domínio, sua arquitetura e os principais requisitos para a criação de aplicações. A partir de duas provas de conceito, a palestra também discutirá aspectos de desempenho de rede e Qualidade da Experiência, mostrando como a Io3MT pode viabilizar experiências interativas, imersivas e expressivas criadas por pesquisadores, artistas e membros da indústria.

Rômulo Vieira é professor na Universidade Federal de Lavras (UFLA), doutor em Ciência da Computação pela Universidade Federal Fluminense (UFF), com período-sanduíche no Centrum Wiskunde & Informatica (CWI), nos Países Baixos. É mestre em Ciência da Computação pela Universidade Federal de São João del-Rei (UFSJ) e bacharel em Engenharia de Controle e Automação pela Universidade Presidente Antônio Carlos (UNIPAC). Realizou pós-doutorado na UFF e integra a equipe de Pesquisa e Desenvolvimento do padrão brasileiro de TV 3.0. Atua nas áreas de Jogos Digitais, Sistemas Multimídia, Computação Musical e TV Digital. Como artista multimídia, desenvolve projetos em arte eletrônica e interatividade.

Música em rede: para além de concertos telemáticos

Quando pensamos em música em rede, talvez a primeira ideia que surge é a ideia de concertos telemáticos, performances musicais ao vivo realizadas por músicos situados em diferentes locais geográficos, conectados em tempo real por redes de internet de alta velocidade e áudio/vídeo de alta definição. Tais apresentações costumam ter como desafio vencer a barreira da latência para a sincronização dos músicos em tempo real. No entanto, há outras maneiras de utilizar as redes de computadores em performances musicais ao vivo, envolvendo a participação do público, a colaboração em redes locais, ou mesmo a utilização dos problemas da rede como elementos estéticos a serem explorados. Nesta apresentação iremos apresentar e discutir como as redes de computadores podem ser usadas em performances musicais ao vivo em situações que não exploram necessariamente as performances telemáticas.

Flávio Schiavoni é doutor em Ciências da Computação pela Universidade de São Paulo e professor adjunto na Universidade Federal de São João Del-Rei (UFSJ) onde coordena o ALICE (Arts Lab in Interface, Computers, and Else) e o Grupo de Arte Colaborativa Orchidea (Orchestra of Ideas). Atua como pesquisador nas áreas de Computação Musical, Arte Digital, e Software Livre investigando temas como Música em rede, Web Art, e Processos criativos colaborativos.

Uma apresentação dos novos projetos do Laboratório de Áudio e Tecnologias Musicais (LATM) seguida de uma mesa interativa com os participantes sobre projetos e atividades importantes das nossas redes de pesquisa. Tópicos incluem computação sonora e musical, comunicação audiovisual imersiva e interativa, protocolos e aplicações para terapias sonoras, e novos sistemas para codificação de mídia sonora no arcabouço MPEG.

A demonstração apresentará conteúdo musical imersivo utilizando o codec MPEG-H para a TV 3.0 brasileira (DTV+), destacando recursos de interatividade e personalização, ampliando as possibilidades de escuta e interação com o conteúdo transmitido pela televisão.

“EP Vista do Ponto” na plataforma AUDIENCE”

O EP “Vista do Ponto” foi desenvolvido a partir de um processo de composição multimodal que articula fotografia 360°, áudio espacial e a interação entre espectador e canção. Nesta ocasião, as quatro faixas do EP serão apresentadas por meio da plataforma AUDIENCE, servindo como demonstração do projeto de áudio imersivo que fundamenta o trabalho.

Daniel Conti é compositor, cantor, multi-instrumentista e produtor musical.

“Weaponize 3D: Entre o Silêncio e o Eco”

A ideia central da obra é a instrumentalização do amor como forma de controle e manipulação, explorando o ciclo em que aquele que antes sofria passa a reproduzir o mesmo comportamento. A narrativa desenvolve-se a partir da relação entre o eu lírico e seu passado, aborda o ghosting e utiliza uma ponte instrumental para reforçar essa trajetória, culminando em um sentimento de esperança e aceitação sustentado pela expectativa de que a outra pessoa experimente as mesmas emoções. Essa construção narrativa é intensificada pelas escolhas sonoras, incluindo andamento, tonalidade, melodias, harmonias, dinâmicas e efeitos digitais, que evocam ausência, saudade e memória. Para isso, a produção articula três vozes principais, quatro vozes auxiliares e quatro guitarras elétricas, cada uma com uma cadeia de processamento própria, utilizando recursos como reverberação, delay e manipulação da imagem estéreo para construir sensações de amplitude espacial, proximidade e imersão emocional.

zsoe é um artista independente que transforma sentimentos difíceis de se expressar em música. Com uma identidade que transita entre diferentes idiomas e uma estética intimista, seu trabalho explora as complexidades do amor, a vulnerabilidade e aquilo que permanece quando as palavras já não são suficientes. Entre títulos como “why can’t i love like u did” e “je ne sais pas comment t’aimer”, zsoe constrói um universo emocional marcado por reflexões sobre amar, sentir e nem sempre saber como expressar o que existe por dentro.

‘The secret of light: The imaginary Friends Against the Numbers’

The Secret of Light: The Imaginary Friends Against the Numbers é um álbum de estúdio de rock alternativo lançado pelo cantor, compositor e produtor musical brasileiro Pedro Verona. Lançado em 16 de maio de 2025 sob o selo da gravadora Marã Música, o projeto foi inteiramente produzido, composto e mixado pelo próprio artista, que divide sua base de produção entre o Brasil e o Reino Unido, contando com participação de músicos de diferentes partes do mundo, como Brasil, Inglaterra, Estados Unidos, Filipinas, entre outros, e, além disso, contou com a participação especial da orquestra de 9 estudantes de cordas (viola, violino e cello) da London College of Music. O álbum foi mixado e masterizado em dolby atmos 7.1.4 com HRTF (head-related transfer function) usando como daw Logic Pro como parte do mestrado em tecnologia musical avançada pela University of West London.