SofiaFala
Um software inteligente de gestão à fala desenvolvido na Universidade de São Paulo, campus de Ribeirão Preto.
Bem-vindo(a)
ao sofiafala!
O Projeto SofiaFala é uma tecnologia assistiva (capaz de melhorar qualidade de vida de pessoas com dificuldades de fala) que capta sons e imagens, produzidos durante a execução do exercício fonoaudiológico, e depois os analisa, oferecendo dois tipos de respostas sobre a performance do usuário: uma lúdico-educacional, com orientações para o paciente e/ou o responsável pelo treino; outra, com dados métricos e estatísticos para o Fonoaudiólogo avaliar, acompanhar e orientar a evolução clínica do usuário. Assim, o sistema deverá se adaptar às características do usuário para melhor conduzi-lo no processo de evolução da fala, isto é, o sistema terá comportamentos distintos com usuários diferentes devido à singularidade, dificuldade e potencialidade de cada um, e seu uso deverá ser indicado e acompanhado por um fonoaudiólogo clínico como apoio ao processo de intervenção terapêutica.
Sobre o
sofiafala
Quando a Sofia nasceu, sua mãe, a cientista da computação Marinalva Dias Soares se deu conta de que necessitaria de recursos para ajudá-la. Sofia foi diagnosticada com síndrome de Down ao nascer e precisaria de tratamento fonoaudiológico (entre outras terapias) para desenvolver a fala e Marinalva pretendia incrementar essa terapia em sua própria casa. Como as tecnologias existentes não atendiam as necessidades da Sofia, as duas cientistas da computação e seus colegas decidiram criar uma tecnologia mais adequada à realidade das famílias brasileiras. Foi então que a pesquisadora Marinalva, mãe da Sofia, procurou a professora Alessandra na FFCLRP. Com o desenvolvimento do projeto, a expectativa é que a Sofia e outras crianças possam aprimorar a comunicação verbal, por meio do uso do sistema, e assim possam falar com fluncia e segurança para poderem integrar e interagir no contexto familiar, educacional e social exercendo seus direitos e deveres como qualquer cidadão brasileiro. O nome do sistema, SofiaFala, foi criado pela coordenadora deste projeto em homenagem à querida Sofia.
Demonstração
Confira as demos dos aplicativos SofiaFala-Fono e SofiaFala-Paciente
FONOAUDIÓLOGO(A)
PACIENTE
Publicações
Destaque
Prêmio de melhor ferramenta
RISSATO, P.H.D.G.; MACEDO, A.A.
SofiaFala: Software Inteligente de Apoio à Fala
Anais estendidos do Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA), 2021, Porto Alegre – RS. p. 91-94.
DOI: SBC
A mobile application and system architecture for online speech training in Portuguese: design, development, and evaluation of SofiaFala.
MACEDO, A. A.; Goncalves, V. S. ; Mandra, P. P. ; Motti, V. G. ; Bulcão Neto, R. F. ; Rodrigues, K. R. . A.
Multimedia Tools and Applications (Dordrecht. online), v. 1, p. 30p., 2024.
Resumos expandidos publicados em anais de congressos
RISSATO, P.H.D.G.; MACEDO, A.A.
SofiaFala: Software Inteligente de Apoio à Fala
Anais estendidos do Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA), 2021, Porto Alegre – RS. p. 91-94.
Periódicos internacionais
SOUZA, F.C.M.; SOUZA, A.C.C.; WATANABE, C.; MANDRA, P.P.; MACEDO, A.A.
An Analysis of Visual Speech Features for Recognition of Non-articulatory Sounds using Machine Learning
International Journal of Computer Applications, v. 177, p. 1-9, 2019.
Detection and Evaluation of Speech Intelligibility with Speech Tool
MELONI, F.; SCCHIERI, B.; MANDRA, P.; BULCAO-NETO, R.; MACEDOM A.A.
Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.
Trabalhos completos publicados em anais de congressos
SCARANTI, A.; SILVA, D.A.R.; MELONI, F.; MACEDO, A.A.
Speech Emotion Recognition in Portuguese for SofiaFala: SER SofiaFala
Automatic Speech Recognition for spontaneous and prepared speech & Speech Emotion Recognition in Portuguese (SE&R 2022) Workshop at 15th edition of the International Conference on the Computational Processing of Portuguese (PROPOR 2022), 2022, Fortaleza. CEUR Workshop Proceedings (CEUR-WS.org), 2022. p. 5P.
Acesso em: Resumos expandidos publicados em anais de congressos
A Systematic Mapping on Detection of Human Mouth Landmarks
RISSATO, P.H.D.G.; BULCAO-NETO, R.F.; MACEDO, A.A.
Workshop de Visão Computacional, 2021, São Paulo – SP. Anais do XVII Workshop de Visão Computacional, 2021.
DOI: Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.
A Nonverbal Recognition Method to Assist Speech
2021 IEEE 34th International Symposium on ComputerBased Medical Systems (CBMS), 2021, Aveiro. 2021 IEEE 34th International Symposium on Computer-Based Medical Systems (CBMS). Los Alamitos, CA, USA: IEEE Computer Society, 2021. v. 1. p. 360-365.
DOI: Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.
Recognition of Emotions through Facial Geometry with Normalized Landmarks.
MACEDO, A. A.; Persona, L. ; Meloni, F. Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia), 2024, Juiz de Fora, MG. Anais do 30° Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia 2024). Porto Alegre, RS: Sociedade Brasileira de Computação SBC, 2024. p. 10p.
An accurate real-time method to detect the smile facial expression.
Persona, L.; Meloni, F.; MACEDO, A. A. WebMedia ’23: Brazilian Symposium on Multimedia and the Web, 2023, Ribeirão Preto Brazil. Proceedings of the 29th Brazilian Symposium on Multimedia and the Web. New York: ACM, 2023. p. 46-55.
Coleta Participativa
O grupo SofiaFala convida pessoas (crianças, adolescentes e adultos) com distúrbio de fala para participar da criação de um conjunto de gravações de áudios de fala comprometida anonimizados (sem identificação pessoal) para serem oferecidos á comunidade científica que investiga o processamento da língua portuguesa. Com essa atitude, pretende-se divulgar, incentivar e engajar essa comunidade no desenvolvimento de ferramentas computacionais de suporte ao processo de identificação, reabilitação e acompanhamento de crianças, adolescentes ou adultos com transtorno de linguagem e fala.