{"id":1758,"date":"2025-02-28T18:30:21","date_gmt":"2025-02-28T20:30:21","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=1758"},"modified":"2025-05-13T23:10:48","modified_gmt":"2025-05-14T01:10:48","slug":"harpia-twin","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/harpia-twin\/","title":{"rendered":"HarpIA Twin"},"content":{"rendered":"<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana.jpeg\"><img loading=\"lazy\" decoding=\"async\" class=\"size-medium wp-image-1884 alignleft\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-300x300.jpeg\" alt=\"\" width=\"300\" height=\"300\" srcset=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-300x300.jpeg 300w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-150x150.jpeg 150w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-768x768.jpeg 768w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-250x250.jpeg 250w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-174x174.jpeg 174w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-45x45.jpeg 45w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-200x200.jpeg 200w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana-400x400.jpeg 400w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/harpia-chatbot-humana.jpeg 1024w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a>O m\u00f3dulo <strong>HarpIA Twin<\/strong> \u00e9 projetado para dar suporte \u00e0 avalia\u00e7\u00e3o de LLMs que est\u00e3o integrados em sistemas de informa\u00e7\u00e3o sociot\u00e9cnicos, e foi inspirado no conceito de g\u00eameo digital. Diferentemente dos m\u00f3dulos HarpIA Survey e HarpIA Lab, que focam em intera\u00e7\u00f5es humanas e experimenta\u00e7\u00f5es controladas, o HarpIA Twin tem o objetivo de associar as atividades de avalia\u00e7\u00e3o, suportadas pela plataforma, ao contexto completo de uso dos LLMs.<\/p>\n<p>Este m\u00f3dulo, ainda em est\u00e1gio de desenvolvimento inicial, poder\u00e1 ser usado para ajudar a avalia\u00e7\u00e3o se o LLM junto ao sistema no qual foi incorporado, atendem a requisitos funcionais e n\u00e3o funcionais que sejam dependentes das sa\u00eddas do LLM.<\/p>\n<p>Algumas funcionalidades em desenvolvimento neste m\u00f3dulo s\u00e3o:<\/p>\n<ul>\n<li>simula\u00e7\u00e3o de ambientes reais proporcionada pelo uso de APIs que permitam a comunica\u00e7\u00e3o da plataforma com o LLM que est\u00e1 incorporado \u00e0 l\u00f3gica de neg\u00f3cios implementa no sistema de informa\u00e7\u00e3o;<\/li>\n<li>integra\u00e7\u00e3o e avalia\u00e7\u00e3o de diferentes LLMs mediante sua associa\u00e7\u00e3o com o mesmo sistema sociot\u00e9cnico;<\/li>\n<li>cadastro de requisitos do sistema sociot\u00e9cnico e associa\u00e7\u00e3o dos resultados obtidos com a avalia\u00e7\u00e3o das sa\u00eddas e comportamento do LLM a estes requisitos.<\/li>\n<\/ul>\n<p>Com a implementa\u00e7\u00e3o do m\u00f3dulo HarpIA Twin abre-se a oportunidade para a operacionaliza\u00e7\u00e3o de atividades como monitoramento cont\u00ednuo do desempenho dos LLMs e coleta de dados de desempenho para implementa\u00e7\u00e3o de ciclos de melhoria cont\u00ednua.<\/p>\n<hr \/>\n<p><strong>Est\u00e1gio de desenvolvimento:\u00a0<\/strong><\/p>\n<p>Vers\u00e3o 1:<\/p>\n<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/Research-process.svg\"><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-2122 aligncenter\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/Research-process.svg\" alt=\"\" width=\"641\" height=\"108\" \/><\/a><\/p>\n<p>A vers\u00e3o 1 apresentar\u00e1 funcionalidades de comunica\u00e7\u00e3o com sistemas externos via API e integra\u00e7\u00e3o com diferentes LLMs.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>O m\u00f3dulo HarpIA Twin \u00e9 projetado para dar suporte \u00e0 avalia\u00e7\u00e3o de LLMs que est\u00e3o integrados em sistemas de informa\u00e7\u00e3o sociot\u00e9cnicos, e foi inspirado no conceito de g\u00eameo digital. Diferentemente dos m\u00f3dulos HarpIA Survey e HarpIA Lab, que focam em intera\u00e7\u00f5es humanas e experimenta\u00e7\u00f5es controladas, o HarpIA Twin tem o objetivo de associar as atividades<a href=\"https:\/\/sites.usp.br\/keml\/harpia-twin\/\">[&#8230;]<\/a><\/p>\n","protected":false},"author":24022,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"class_list":["post-1758","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1758","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/users\/24022"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/comments?post=1758"}],"version-history":[{"count":4,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1758\/revisions"}],"predecessor-version":[{"id":2335,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1758\/revisions\/2335"}],"wp:attachment":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/media?parent=1758"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}