Frameworks

HarpIA

HarpIA é um framework para avaliação de grandes modelos de linguagem que está em fase de projeto e desenvolvimento pelo time do KEML.

A ideia é que o framework facilite a realização de avaliações quantitativas e qualitativas, com base em diferentes estratégias (indicadores e métodos), e permita a sistematização, reprodutibilidade, padronização e transparência da avaliação.

Do ponto de vista de avaliação quantitativa, o framework está sendo projetado para receber a implementação de diferentes indicadores, via uma arquitetura fortemente coesa e fracamente acoplada. Será esperado que diferentes pessoas possam contribuir com o rol de indicadores disponíveis, via oferecimento de implementações que sigam o padrão estabelecido no framework.

Do ponto de vista qualitativo, o framework deverá oferecer um ambiente “confortável” para avaliações humanas, com possibilidade de configuração da avaliação e implementação de um fluxo de trabalho “ciente” da avaliação.

Um dos objetivos de construção do framework é permitir algum nível de automação para execução de avaliação para a construção de procedimentos de ablação. Robustez estatística e relatório em língua natural também estão nos objetivos do desenvolvimento do framework.

A automação de testes, embora esteja nos planos para o desenvolvimento do HarpIA, é ainda uma questão em aberto, visto que defendemos que a automação da avaliação é efetiva quando ela segue um método já bem estabelecido e validado. Nossa intenção é propiciar o uso de métodos de avaliação e validá-los. Automatizá-los será o próximo passo.

• Framework em construção – ainda não disponível para uso. Alguns módulos serão publicados em breve.

* O  nome HarpIA faz alusão à ave harpia (ou gavião-real), o predador mais forte entre as aves. Presente no Brasil, em especial na Amazônia e na Mata Atlântica,  também é encontrada em outras regiões na América do Sul. Trata-se de uma ave muito perspicaz e forte, esperta e observadora. Uma de suas características é escanear suas presas, avaliando suas características para então tomar a decisão de capturá-las.

---

Blabinha 1.0 e Blabinha 2.0

A Blabinha 1.0 é um sistema construído no robô Robios Go. Ela foi projetada como uma extensão do orquestrador BLAB, como objetivo de servir como um agente disseminador de conhecimento sobre a Amazônia Azul entre crianças. É um sistema construído com programação imperativa, usa serviços de reconhecimento e síntese de fala providos pela API do robô Robios Go.

Você pode conhecer mais sobre a Blabinha 1.0 acessado o código, o vídeo promocional (3’43”) e o vídeo completo da aplicação (22’05”).

Blabinha 2.0 é um agente conversacional especialmente projetado como um ambiente de avaliação de grandes modelos de linguagem e da engenharia de prompt, enriquecidos ou não por mecanismos representação de conhecimento, quando colocados na função de condutor de diálogos orientados à tarefas e orientados a domínios.

Em sua versão 2.0, a Blabinha é implementada usando modelos da família GPT e engenharia de prompt do tipo cadeias de pensamento (e passo por passo), e tem como objetivo conduzir um diálogo com uma criança, promovendo o engajamento em uma conversa sobre o domínio da Amazônia Azul via uma estratégia de gameficação: quanto mais conhecimento a criança retira da Blabinha durante a conversa, mais forte ficará um super-herói que será projetado ao fim do diálogo.

Durante a conversa, o modelo de linguagem é submetido a uma série de tarefas que vão desde se apresentar à criança até a realização de análise de tópicos.

A Blabinha em sua versão 2.0 não está ainda sendo colocada para interação com crianças, visto que a interação com modelos de linguagem ainda não seriam totalmente seguras. Apenas testadores interagem com ela.

A implementação do sistema está disponível aqui.

Artigo científico que descrevem a Blabinha 2.0 (por favor, cite este artigo se você fizer uso da implementação associada à Blabinha 2.0):

• Teodoro Junior, G. S.; Peres, S. M.; Fantinato, M.; Brandão, A. A. F.; Cozman, F. G. A Goal-Oriented Chat-Like System for Evaluation of Large Language Models. In: XXI Encontro Nacional de Inteligência Artificial e Computacional (ENIAC).

---

CtxKG

O CtxKG é um método de geração de grafos de conhecimento cujo objetivo é extrair entidades e relacionamentos diretamente de textos, sem nenhum alinhamento externo com bases de dados. O CtxKG constrói redes de conceitos conectados entre si.

Para abordar um domínio como a Amazônia Azul, que de maneira geral, ainda é pouco explorado em termos de formalização de conceitos e relações e possui pouco conteúdo descritivo livremente disponível, o método foi estruturado para operar em um contexto de poucos recursos. Isso significa que, por meio do uso de diferentes ferramentas de processamento de linguagem e da inclusão de conceitos de gramática, o CtxKG aproveita ao máximo os recursos textuais disponíveis.

O método CtxKG possui duas versões: a original, em inglês, e a versão em português, chamada PtxKG (de “Portuguese CtxKG”). A existência destas duas versões permite que lidar tanto com documentos científicos, que costumam ser escritos em inglês, quanto com materias mais gerais sobre os diferentes aspectos da Amazônia Azul, os quais tendem a ser escritos em português, dada a importância da Amazônia Azul para o Brasil.

A implementação do CtxKG e do PtxKG está disponível aqui.  Um módulo auxiliar também pode ser acesso aqui.

Se você uso ou menção ao CtxKG, por favor, cite:

• Ligabue, P. M., Brandão, A. A. F, Peres, S. M., Cozman, F.G., Pirozelli, P. Applying a Context-based Method to Build a Knowledge Graph for the Blue Amazon. Data Intelligence 2024; 6 (1): 64–103. https://doi.org/10.1162/dint_a_00223

---

dPASP

O framework dPASP apresenta uma linguagem poderosa de alto nível para descrever tarefas probabilísticas de maneira intuitiva e declarativa. Assim como na programação lógica probabilística tradicional (PLP), os programas no dPASP são escritos em termos de fatos ou regras probabilísticas, permitindo que a incerteza tenha um papel na descrição do conhecimento do problema. Notavelmente, o framework vai além do PLP ao aproveitar a expressividade das redes neurais para descrever probabilidades em domínios possivelmente híbridos. Além disso, ao incorporar expressões neurais nativamente dentro da linguagem, o dPASP oferece treinamento de ponta a ponta de modelos sofisticados e funções de perda, exigindo conhecimento mínimo do funcionamento interno dos sistemas de aprendizado profundo por parte do usuário. Mais informações aqui.

O dPASP possui tanto uma linguagem específica de domínio (DSL) quanto um interpretador de linha de comando (parser) para essa linguagem, que pode ser usado como uma ferramenta independente. Alternativamente, o dPASP pode ser acessado como uma biblioteca Python ou mais diretamente por meio de seu backend em C.

A maneira mais fácil de começar é lendo o tutorial: Learning dPASP Through Examples.

---

BLAB Orquestrador

Atualmente, os agentes conversacionais podem ser construídos com modelos de linguagem, regras e ontologias para fornecer um diálogo fluente. Contudo, a coordenação de múltiplas técnicas ou estratégias fornecedoras de insumo para o diálogo do agente é um desafio. O BLAB Orquestrador é um mecanismo para orquestrar efetivamente essas múltiplas fontes de insumo em um agente conversacional. A arquitetura do orquestrador segue uma abordagem cliente-servidor e é formada por:

• um módulo de geração de prompts para um modelo de linguagem que é responsável por tomar as decisões de orquestramento;
• módulos ditos “respondedores” que podem ser implementados por modelos de linguagem, regras e ontologias voltados a domínios especializados;
• recursos que permitem acoplar interfaces gráficas para interação com usuários via texto, ou um robô social com capacidades do tipo texto-para-fala e fala-para-texto para implementar uma interação via fala.

A implementação do BLAB Orquestrador está disponível no GitHub.

Artigos científicos que descrevem o BLAB Orquestrador (por favor, cite pelo menos um desses artigos se você fizer uso de alguma implementação associada ao BLAB Orquestrador):

• Matos, V. B.; Grava, R.; Tavares, R.; José, M. M.; Pirozelli, P.; Brandão, A. A. F.; Peres, S. M.; Cozman, F. G. Coordination within Conversational Agents with Multiple Sources. In Proceedings of the 20th Nacional Meeting on Artificial and Computational Intelligence, (ENIAC 2023), Belo Horizonte, 2023. p. 939-953. ISSN 2763-9061. https://doi.org/10.5753/eniac.2023.234533
• Pirozelli, P.; Castro, A. B. R.; Oliveira, A. L. C.; Oliveira, A. S.; Cação, F. N.; Silveira, I. C.; Campos, J. G. M.; Motheo, L. C.; Figueiredo, L. F.; Pellicer, L. F. A. O.; José, M. A.; José, M. M.; Ligabue, P. M.; Grava, R. S.; Tavares, R. M.; Matos, V. B.; Sym, Y. V.; Costa, A. H. R.; Brandão, A. A. F.; Mauá, D. D.; Cozman, F. G.; Peres, S. M. The BLue Amazon Brain (BLAB): A Modular Architecture of Services about the Brazilian Maritime Territory. Proceedings of the Workshop: AI Modeling Oceans and Climate Change (AIMOCC 2022), Vienna, 2022, p. 1-11. https://doi.org/10.48550/arXiv.2209.07928

---

BLAB Reporter

O BLAB Reporter é uma aplicação que coleta dados relacionados à Amazônia Azul a partir de múltiplas fontes e publica essas esse dados no X (antigo Twitter). A publicação é sempre feita em língua natural (português) ainda que os dados fonte para a publicação não sejam textuais.

Se você quiser acompanhar as publicações do BLAB Reporter, siga @BLAB_Reporter no X.

O código que implementa a aplicação está disponível no GitHub.

Se você usar o código que implementa o BLAB Reporter ou mesmo quiser fazer uma menção a ele, consulte e cite uma das referências abaixo:

• Sym, Y. V.; Campos, J. G. M.; Cozman, F. G. Blab Reporter: Automated Journalism Covering The Blue Amazon. In Proceedings of the 15th International Conference on Natural Language Generation: System Demonstrations (ACL 2022), Waterville, Maine, USA, Meeting online, 2022. p.1–3. URL: https://aclanthology.org/2022.inlg-demos.1
• Pirozelli, P.; Castro, A. B. R.; Oliveira, A. L. C.; Oliveira, A. S.; Cação, F. N.; Silveira, I. C.; Campos, J. G. M.; Motheo, L. C.; Figueiredo, L. F.; Pellicer, L. F. A. O.; José, M. A.; José, M. M.; Ligabue, P. M.; Grava, R. S.; Tavares, R. M.; Matos, V. B.; Sym, Y. V.; Costa, A. H. R.; Brandão, A. A. F.; Mauá, D. D.; Cozman, F. G.; Peres, S. M. The BLue Amazon Brain (BLAB): A Modular Architecture of Services about the Brazilian Maritime Territory. Proceedings of the Workshop: AI Modeling Oceans and Climate Change (AIMOCC 2022), Vienna, 2022, p. 1-11. https://doi.org/10.48550/arXiv.2209.07928