SofiaFala
Um software inteligente de gestão à fala desenvolvido na Universidade de São Paulo, campus de Ribeirão Preto.
Bem-vindo(a)
ao sofiafala!
O Projeto SofiaFala é uma tecnologia assistiva (capaz de melhorar qualidade de vida de pessoas com dificuldades de fala) que capta sons e imagens, produzidos durante a execução do exercício fonoaudiológico, e depois os analisa, oferecendo dois tipos de respostas sobre a performance do usuário: uma lúdico-educacional, com orientações para o paciente e/ou o responsável pelo treino; outra, com dados métricos e estatísticos para o Fonoaudiólogo avaliar, acompanhar e orientar a evolução clínica do usuário. Assim, o sistema deverá se adaptar às características do usuário para melhor conduzi-lo no processo de evolução da fala, isto é, o sistema terá comportamentos distintos com usuários diferentes devido à singularidade, dificuldade e potencialidade de cada um, e seu uso deverá ser indicado e acompanhado por um fonoaudiólogo clínico como apoio ao processo de intervenção terapêutica.
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/Imagem-app-SofiaFala-Sem-fundo.png)
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/Fono-SofiaFala.png)
Sobre o
sofiafala
Quando a Sofia nasceu, sua mãe, a cientista da computação Marinalva Dias Soares se deu conta de que necessitaria de recursos para ajudá-la. Sofia foi diagnosticada com síndrome de Down ao nascer e precisaria de tratamento fonoaudiológico (entre outras terapias) para desenvolver a fala e Marinalva pretendia incrementar essa terapia em sua própria casa. Como as tecnologias existentes não atendiam as necessidades da Sofia, as duas cientistas da computação e seus colegas decidiram criar uma tecnologia mais adequada à realidade das famílias brasileiras. Foi então que a pesquisadora Marinalva, mãe da Sofia, procurou a professora Alessandra na FFCLRP. Com o desenvolvimento do projeto, a expectativa é que a Sofia e outras crianças possam aprimorar a comunicação verbal, por meio do uso do sistema, e assim possam falar com fluncia e segurança para poderem integrar e interagir no contexto familiar, educacional e social exercendo seus direitos e deveres como qualquer cidadão brasileiro. O nome do sistema, SofiaFala, foi criado pela coordenadora deste projeto em homenagem à querida Sofia.
Demonstração
Confira as demos dos aplicativos SofiaFala-Fono e SofiaFala-Paciente
FONOAUDIÓLOGO(A)
PACIENTE
Publicações
Destaque
Prêmio de melhor ferramenta
RISSATO, P.H.D.G.; MACEDO, A.A.
SofiaFala: Software Inteligente de Apoio à Fala
Anais estendidos do Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA), 2021, Porto Alegre – RS. p. 91-94.
DOI: SBC
A mobile application and system architecture for online speech training in Portuguese: design, development, and evaluation of SofiaFala.
MACEDO, A. A.; Goncalves, V. S. ; Mandra, P. P. ; Motti, V. G. ; Bulcão Neto, R. F. ; Rodrigues, K. R. . A.
Multimedia Tools and Applications (Dordrecht. online), v. 1, p. 30p., 2024.
Resumos expandidos publicados em anais de congressos
RISSATO, P.H.D.G.; MACEDO, A.A.
SofiaFala: Software Inteligente de Apoio à Fala
Anais estendidos do Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA), 2021, Porto Alegre – RS. p. 91-94.
Periódicos internacionais
SOUZA, F.C.M.; SOUZA, A.C.C.; WATANABE, C.; MANDRA, P.P.; MACEDO, A.A.
An Analysis of Visual Speech Features for Recognition of Non-articulatory Sounds using Machine Learning
International Journal of Computer Applications, v. 177, p. 1-9, 2019.
Detection and Evaluation of Speech Intelligibility with Speech Tool
MELONI, F.; SCCHIERI, B.; MANDRA, P.; BULCAO-NETO, R.; MACEDOM A.A.
Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.
Trabalhos completos publicados em anais de congressos
SCARANTI, A.; SILVA, D.A.R.; MELONI, F.; MACEDO, A.A.
Speech Emotion Recognition in Portuguese for SofiaFala: SER SofiaFala
Automatic Speech Recognition for spontaneous and prepared speech & Speech Emotion Recognition in Portuguese (SE&R 2022) Workshop at 15th edition of the International Conference on the Computational Processing of Portuguese (PROPOR 2022), 2022, Fortaleza. CEUR Workshop Proceedings (CEUR-WS.org), 2022. p. 5P.
Acesso em: Resumos expandidos publicados em anais de congressos
A Systematic Mapping on Detection of Human Mouth Landmarks
RISSATO, P.H.D.G.; BULCAO-NETO, R.F.; MACEDO, A.A.
Workshop de Visão Computacional, 2021, São Paulo – SP. Anais do XVII Workshop de Visão Computacional, 2021.
DOI: Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.
A Nonverbal Recognition Method to Assist Speech
2021 IEEE 34th International Symposium on ComputerBased Medical Systems (CBMS), 2021, Aveiro. 2021 IEEE 34th International Symposium on Computer-Based Medical Systems (CBMS). Los Alamitos, CA, USA: IEEE Computer Society, 2021. v. 1. p. 360-365.
DOI: Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.
Recognition of Emotions through Facial Geometry with Normalized Landmarks.
MACEDO, A. A.; Persona, L. ; Meloni, F. Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia), 2024, Juiz de Fora, MG. Anais do 30° Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia 2024). Porto Alegre, RS: Sociedade Brasileira de Computação SBC, 2024. p. 10p.
An accurate real-time method to detect the smile facial expression.
Persona, L.; Meloni, F.; MACEDO, A. A. WebMedia ’23: Brazilian Symposium on Multimedia and the Web, 2023, Ribeirão Preto Brazil. Proceedings of the 29th Brazilian Symposium on Multimedia and the Web. New York: ACM, 2023. p. 46-55.
Coleta Participativa
O grupo SofiaFala convida pessoas (crianças, adolescentes e adultos) com distúrbio de fala para participar da criação de um conjunto de gravações de áudios de fala comprometida anonimizados (sem identificação pessoal) para serem oferecidos á comunidade científica que investiga o processamento da língua portuguesa. Com essa atitude, pretende-se divulgar, incentivar e engajar essa comunidade no desenvolvimento de ferramentas computacionais de suporte ao processo de identificação, reabilitação e acompanhamento de crianças, adolescentes ou adultos com transtorno de linguagem e fala.
Membros
Coordenação
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/f.jpeg)
Profª Drª
Alessandra Alaniz Macedo
COORDENADORA DO PROJETO
Extração de Informação
FFCLRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/Captura-de-Tela-2024-09-19-as-17.59.04.png)
Profª Drª
Patrícia P. Mandrá
DOCENTE DO CURSO DE FONOAUDIOLOGIA
Transtornos da linguagem e fala na infância
FMRP - USP
COLABORADORES
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/IMG_8973-scaled-2.jpg)
Caio Oliveira Di Gioia
Desenvolvimento - Site e Aplicativo
FFCLRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/WhatsApp-Image-2024-10-10-at-08.20.15-Rebeca-Rezende-1.jpeg)
Marketing e Divulgação
FFCLRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/IMG_0214-Victor-Hugo-da-Silva-Lembor-scaled-2.jpeg)
Interação Humano-Computador
FMRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/minhaFoto-Rodrigo-Ribeiro-Alves-1.jpg)
Desenvolvimento dos aplicativos e Gamificação
FFCLRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/FOTOMINHA-Leonardo-Fares-Bouez-Mendes-1.jpg)
Processamento de áudios
FFCLRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/IMG-20221207-WA0060-Leonardo-Rizzo-Costa-1.jpg)
Desenvolvimento - Aplicativo
FFCLRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/IMG_7299-Clara-Escoura-scaled-2.jpeg)
Clara Gusman Escoura
Coleta de áudios
FMRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/image-Erick-Oda-Coulter-scaled-2.jpg)
Erick Oda Coulter
Desenvolvimento - Aplicativo
FFCLRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/IMG_20220911_174409_496-Samira-Fares.png)
Fonoaudiologia
FMRP - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/Screenshot_20241015_174427_Photos-Fernanda-Floriano-1.jpg)
Fernanda Floriano Silva
Completação
ICMC - USP
![](https://sites.usp.br/sofiafala/wp-content/uploads/sites/1551/2024/10/348067053_230736676338106_9160451357541070897_n-Leandro-Persona-1.jpg)