AUDIENCE Spatial Audio
O Projeto AUDIENCE iniciou-se em 2003 no Laboratório de Sistemas Integráveis (LSI-EP-USP) e objetivou a pesquisa e o desenvolvimento de tecnologias para imersão sonora, produção e reprodução de áudio 2D/3D, com aplicações em multimídia, realidade virtual, “home-theaters” e sonorização “surround“. Em 2005 o projeto foi finalizado resultando numa instalação multicanal 3D cúbica (8 alto-falantes) para a Caverna Digital da Escola Politécnica, e produzindo a primeira versão do software AUDIENCE para auralização, adaptada para sonificar aplicativos de realidade virtual imersiva.
Plataforma AUDIENCE para Áudio Espacial
O programa consiste em uma biblioteca de objetos e abstrações (patchs) para Pd (Pure Data) construída sobre uma arquitetura de sistema homônima. O desenvolvimento de uma versão aberta iniciou-se dentro do contexto do projeto OpenAUDIENCE (OA), que ocorreu entre 2005 e 2009, quando amplas chamadas de colaboração para pesquisadores e programadores estiveram abertas a novos membros, desenvolvedores e grupos que quisessem contribuir na construção, acréscimo de funcionalidades e melhorias para o software. Ao final desta fase foi disponibilizada uma versão do OA para a comunidade de desenvolvedores de aplicações de áudio espacial, para que utilizassem o software como máquina de auralização, de geração e reprodução de som 2D e 3D. Posteriormente ambas as versões foram unificadas numa só distribuição AUDIENCE, numa versão 2.0 contemplando componentes sob diversos tipos de licenças. O sistema já trabalhava em 2005 com os paradigmas de “orientação a cena” — usando Ambisonics — e “orientação a objetos” — renderizando cenas sonoras com sons individuais
Desde a versão 2.0 o AUDIENCE tem sido atualizado periodicamente pela equipe de desenvolvimento do LATM, e a plataforma tem sido inspiração e base para o desenvolvimento de spin-offs de aplicações em música digital e produção surround, como o formato/aplicação OGN para música digital (FAPESP 2007-2008) e o FreeSurround, um aplicativo que antecipou em 2008 a mixagem para sistemas surround com elevação — bem antes do “boom” de tecnologias imersivas como Dolby Atmos e MPEG-H e da introdução de formatos de mercado para 5.1+4H.
Em 2013 uma extensão para sonorização por Wave Field Synthesis (WFS) foi desenvolvida, a partir de um trabalho de pós-graduação no Programa de Pós-Graduação em Música da USP [1]. Esta foi a primeira implementação desta técnica no país, e operando com um array de alto-falantes especialmente desenhado e fabricado em parceria com a LANDO, com o menor espaçamento entre-falantes do mundo. Desde 2019, em projetos colaborativos com artistas audiovisuais e pesquisadores do LabArteMídia da ECA/USP, novas extensões do AUDIENCE têm sido desenvolvidas voltadas para a produção/pós-produção de áudio imersivo de filmes e audiovisual 3D/360o. O inovador filme em RV 360o BECO 360 (2019-2021) e outros trabalhos — como o filme Diasporáticas [2] — têm sido produzidos usando uma nova extensão denominada AUDIENCE S3P (Spatial Sound Scene Production) que trabalha com conceitos como 6 graus de liberdade (6DoF) e com capacidade para renderizar cenas sonoras simultaneamente para múltiplos ouvintes.
[1] FARIA, R. R. A.; SILVA, M. J. A dynamic patch for wave field synthesis auralization. In: 11th International Symposium on Computer Music Multidisciplinary Research (CMMR 2015), 2015, Plymouth. Proceedings of 11th International Symposium on Computer Music Multidisciplinary Research, 2015. p. 555-565. Disponível em https://www.researchgate.net/publication/278719270_A_dynamic_patch_for_wave_field_synthesis_auralization#fullTextFileContent.
[2] FARIA, REGIS R. A.; SOUTO, D. ; ALVARENGA, L. L. de OLIVEIRA . A diasporic sound immersion experience on board a slave ship. In: AM ’24: Audio Mostly 2024 Explorations in Sonic Cultures, 2024, Milan Italy. Audio Mostly 2024 – Explorations in Sonic Cultures. New York: ACM, 2024. p. 543. DOI http://dx.doi.org/10.1145/3678299.3678356.
AUDIENCE 3.0
Parte dos avanços em direção a uma versão 3.0 têm sido resultados de uma pesquisa continuada, inclusive em Iniciação Científica (IC), com a colaboração de alunos de diversos cursos da USP. Com novos trabalhos realizados utilizando a biblioteca AUDIENCE, novas funcionalidades e aplicações são incorporadas, muitas vezes produzindo uma extensão à versão padrão utilizando objetos proprietários, como é o caso do suporte a MPEG Surround e codificadores AAC (Advanced Audio Coding). Um dos projetos em colaboração prevê a incorporação de suporte ao MPEG-H 3D Audio (ISO/IEC 23008-3, Part 3) e ao mais novo MPEG-I Immersive Audio (ISO/IEC 23090-4, Part 4). Algumas extensões e máquinas específicas ganham repositórios especiais para segmentos específicos, como o de produção imersiva voltado para a nova geração de TV Digital (TV3.0), para cinema e audiovisual 360o/3D e Realidade Virtual Imersiva (RV/XR sonora). Desde 2023 o LATM têm investido na pesquisa de novas estéticas e meios de produção e consumo para áudio imersivo e música 3D — um mercado cuja expectativa é crescer de USD 21.1 bilhões em 2023 para USD 67.3 bilhões em 2030.
A distribuição AUDIENCE 3.0 encontra-se em desenvolvimento no Github do LATM. Repositórios públicos encontram-se em construção onde serão disponibilizadas a versão padrão (baseline) aberta e a extensão AUDIENCE WFS livre. Para a extensão AUDIENCE S3P e extensões especiais, com suporte a codecs proprietários, são previstos repositórios específicos para a equipe de desenvolvimento e seus usuários.
O funcionamento e fluxo de dados num processo de espacialização sonora com o AUDIENCE estão documentados nos nossos artigos e trabalhos publicados. Saiba mais sobre nossas publicações e como citar nossos trabalhos aqui.
Colaboração — oportunidades e projetos específicos
O AUDIENCE é uma plataforma em contínuo desenvolvimento. Regularmente temos bolsa de Iniciação Científica (IC) e iniciativas para desenvolvimentos de extensões especiais, para nichos e demandas específicos, originados de projetos de pesquisa de pós-graduação e convênios, como é o caso com audiovisual e RV em 3D/360o.
Novos trabalhos de aplicação são regularmente iniciados através de projetos nos Programas de Pós-graduação em Sistemas de Informação (área de Computação Sonora e Musical no PPgSI/EACH-USP) e em Música (área de Sonologia no PPGMUS/ECA-USP). Contatos, busca de informações e novas propostas de projetos de colaboração podem ser encaminhados para latm @ usp.br.