SofiaFala

Um software inteligente de gestão à fala desenvolvido na Universidade de São Paulo, campus de Ribeirão Preto.

Bem-vindo(a)
ao sofiafala!

O Projeto SofiaFala é uma tecnologia assistiva (capaz de melhorar qualidade de vida de pessoas com dificuldades de fala) que capta sons e imagens, produzidos durante a execução do exercício fonoaudiológico, e depois os analisa, oferecendo dois tipos de respostas sobre a performance do usuário: uma lúdico-educacional, com orientações para o paciente e/ou o responsável pelo treino; outra, com dados métricos e estatísticos para o Fonoaudiólogo avaliar, acompanhar e orientar a evolução clínica do usuário. Assim, o sistema deverá se adaptar às características do usuário para melhor conduzi-lo no processo de evolução da fala, isto é, o sistema terá comportamentos distintos com usuários diferentes devido à singularidade, dificuldade e potencialidade de cada um, e seu uso deverá ser indicado e acompanhado por um fonoaudiólogo clínico como apoio ao processo de intervenção terapêutica.

Sobre o
sofiafala

Quando a Sofia nasceu, sua mãe, a cientista da computação Marinalva Dias Soares se deu conta de que necessitaria de recursos para ajudá-la. Sofia foi diagnosticada com síndrome de Down ao nascer e precisaria de tratamento fonoaudiológico (entre outras terapias) para desenvolver a fala e Marinalva pretendia incrementar essa terapia em sua própria casa. Como as tecnologias existentes não atendiam as necessidades da Sofia, as duas cientistas da computação e seus colegas decidiram criar uma tecnologia mais adequada à realidade das famílias brasileiras. Foi então que a pesquisadora Marinalva, mãe da Sofia, procurou a professora Alessandra na FFCLRP. Com o desenvolvimento do projeto, a expectativa é que a Sofia e outras crianças possam aprimorar a comunicação verbal, por meio do uso do sistema, e assim possam falar com fluncia e segurança para poderem integrar e interagir no contexto familiar, educacional e social exercendo seus direitos e deveres como qualquer cidadão brasileiro. O nome do sistema, SofiaFala, foi criado pela coordenadora deste projeto em homenagem à querida Sofia.

Demonstração

Confira as demos dos aplicativos SofiaFala-Fono e SofiaFala-Paciente

FONOAUDIÓLOGO(A)

PACIENTE

Publicações

Destaque

Prêmio de melhor ferramenta

RISSATO, P.H.D.G.; MACEDO, A.A.
SofiaFala: Software Inteligente de Apoio à Fala
Anais estendidos do Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA), 2021, Porto Alegre – RS. p. 91-94.

DOI: SBC

A mobile application and system architecture for online speech training in Portuguese: design, development, and evaluation of SofiaFala.

MACEDO, A. A.; Goncalves, V. S. ; Mandra, P. P. ; Motti, V. G. ; Bulcão Neto, R. F. ; Rodrigues, K. R. . A.

Multimedia Tools and Applications (Dordrecht. online), v. 1, p. 30p., 2024.

DOI: http://dx.doi.org/10.1007/s11042-024-19980-5

Resumos expandidos publicados em anais de congressos

RISSATO, P.H.D.G.; MACEDO, A.A.
SofiaFala: Software Inteligente de Apoio à Fala
Anais estendidos do Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA), 2021, Porto Alegre – RS. p. 91-94.

DOI: Resumos expandidos publicados em anais de congressos

Periódicos internacionais

SOUZA, F.C.M.; SOUZA, A.C.C.; WATANABE, C.; MANDRA, P.P.; MACEDO, A.A.
An Analysis of Visual Speech Features for Recognition of Non-articulatory Sounds using Machine Learning
International Journal of Computer Applications, v. 177, p. 1-9, 2019.

DOI: Resumos expandidos publicados em anais de congressos

Detection and Evaluation of Speech Intelligibility with Speech Tool

MELONI, F.; SCCHIERI, B.; MANDRA, P.; BULCAO-NETO, R.; MACEDOM A.A.

Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.

Trabalhos completos publicados em anais de congressos

SCARANTI, A.; SILVA, D.A.R.; MELONI, F.; MACEDO, A.A.
Speech Emotion Recognition in Portuguese for SofiaFala: SER SofiaFala
Automatic Speech Recognition for spontaneous and prepared speech & Speech Emotion Recognition in Portuguese (SE&R 2022) Workshop at 15th edition of the International Conference on the Computational Processing of Portuguese (PROPOR 2022), 2022, Fortaleza. CEUR Workshop Proceedings (CEUR-WS.org), 2022. p. 5P.

Acesso em: Resumos expandidos publicados em anais de congressos

A Systematic Mapping on Detection of Human Mouth Landmarks

RISSATO, P.H.D.G.; BULCAO-NETO, R.F.; MACEDO, A.A.

Workshop de Visão Computacional, 2021, São Paulo – SP. Anais do XVII Workshop de Visão Computacional, 2021.

DOI: Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.

A Nonverbal Recognition Method to Assist Speech

2021 IEEE 34th International Symposium on ComputerBased Medical Systems (CBMS), 2021, Aveiro. 2021 IEEE 34th International Symposium on Computer-Based Medical Systems (CBMS). Los Alamitos, CA, USA: IEEE Computer Society, 2021. v. 1. p. 360-365.

DOI: Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.

Recognition of Emotions through Facial Geometry with Normalized Landmarks.

MACEDO, A. A.; Persona, L. ; Meloni, F. Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia), 2024, Juiz de Fora, MG. Anais do 30° Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia 2024). Porto Alegre, RS: Sociedade Brasileira de Computação SBC, 2024. p. 10p.

An accurate real-time method to detect the smile facial expression.

Persona, L.; Meloni, F.; MACEDO, A. A.  WebMedia ’23: Brazilian Symposium on Multimedia and the Web, 2023, Ribeirão Preto Brazil. Proceedings of the 29th Brazilian Symposium on Multimedia and the Web. New York: ACM, 2023. p. 46-55.

DOI: https://doi.org/10.1145/3617023.3617031

Coleta Participativa

O grupo SofiaFala convida pessoas (crianças, adolescentes e adultos) com distúrbio de fala para participar da criação de um conjunto de gravações de áudios de fala comprometida anonimizados (sem identificação pessoal) para serem oferecidos á comunidade científica que investiga o processamento da língua portuguesa. Com essa atitude, pretende-se divulgar, incentivar e engajar essa comunidade no desenvolvimento de ferramentas computacionais de suporte ao processo de identificação, reabilitação e acompanhamento de crianças, adolescentes ou adultos com transtorno de linguagem e fala.

Membros

Coordenação

Profª Drª
Alessandra Alaniz Macedo

COORDENADORA DO PROJETO
Extração de Informação
FFCLRP - USP

Profª Drª
Patrícia P. Mandrá

DOCENTE DO CURSO DE FONOAUDIOLOGIA
Transtornos da linguagem e fala na infância
FMRP - USP

COLABORADORES

Caio Oliveira Di Gioia

Desenvolvimento - Site e Aplicativo
FFCLRP - USP

Marketing e Divulgação
FFCLRP - USP

Interação Humano-Computador
FMRP - USP

Desenvolvimento dos aplicativos e
identificação de lambdacismo

FFCLRP - USP

Processamento de áudios
FFCLRP - USP

Desenvolvimento - Aplicativo
FFCLRP - USP

Clara Gusman Escoura

Coleta de áudios
FMRP - USP

Erick Oda Coulter

Desenvolvimento - Aplicativo
FFCLRP - USP

Fonoaudiologia
FMRP - USP

Fernanda Floriano Silva

Completação
ICMC - USP

Leandro Persona

Visão Computacional e reconhecimento de padrões
FFCLRP - USP