O módulo HarpIA Twin é projetado para dar suporte à avaliação de LLMs que estão integrados em sistemas de informação sociotécnicos, e foi inspirado no conceito de gêmeo digital. Diferentemente dos módulos HarpIA Survey e HarpIA Lab, que focam em interações humanas e experimentações controladas, o HarpIA Twin tem o objetivo de associar as atividades de avaliação, suportadas pela plataforma, ao contexto completo de uso dos LLMs.
Este módulo, ainda em estágio de desenvolvimento inicial, poderá ser usado para ajudar a avaliação se o LLM junto ao sistema no qual foi incorporado, atendem a requisitos funcionais e não funcionais que sejam dependentes das saídas do LLM.
Algumas funcionalidades em desenvolvimento neste módulo são:
- simulação de ambientes reais proporcionada pelo uso de APIs que permitam a comunicação da plataforma com o LLM que está incorporado à lógica de negócios implementa no sistema de informação;
- integração e avaliação de diferentes LLMs mediante sua associação com o mesmo sistema sociotécnico;
- cadastro de requisitos do sistema sociotécnico e associação dos resultados obtidos com a avaliação das saídas e comportamento do LLM a estes requisitos.
Com a implementação do módulo HarpIA Twin abre-se a oportunidade para a operacionalização de atividades como monitoramento contínuo do desempenho dos LLMs e coleta de dados de desempenho para implementação de ciclos de melhoria contínua.
Estágio de desenvolvimento:
Versão 1:
A versão 1 apresentará funcionalidades de comunicação com sistemas externos via API e integração com diferentes LLMs.