{"id":1816,"date":"2025-03-01T17:21:31","date_gmt":"2025-03-01T19:21:31","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=1816"},"modified":"2025-05-13T21:54:48","modified_gmt":"2025-05-13T23:54:48","slug":"harpia-survey-avaliacao-baseada-em-prompts-simples-atividade-do-tipo-1","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/harpia-survey-avaliacao-baseada-em-prompts-simples-atividade-do-tipo-1\/","title":{"rendered":"HarpIA Survey &#8211; avalia\u00e7\u00e3o baseada em prompts simples"},"content":{"rendered":"<p data-start=\"0\" data-end=\"348\"><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/logo-colorida-simplificada-fundo-preto.svg\"><img loading=\"lazy\" decoding=\"async\" class=\"alignleft wp-image-2039\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/mascote_cinza.svg\" alt=\"\" width=\"206\" height=\"259\" \/><\/a>A avalia\u00e7\u00e3o baseada em prompt simples exige a execu\u00e7\u00e3o por parte do avaliador humano de uma sequ\u00eancia de <strong>tarefas do<\/strong> <strong>tipo Q&amp;A<\/strong>. Esta tarefa consiste em uma intera\u00e7\u00e3o entre o avaliador humano e o modelo de linguagem, seguida da considera\u00e7\u00e3o pelo avaliador humano de conjunto de perguntas sobre como ele ou ela percebe certas qualidades da resposta que foi gerada pelo modelo. A tarefa assume a disponibilidade de um grande modelo de linguagem (LLM) ativo, cujo comportamento \u00e9 modificado por um prompt de sistema para atender as expectativas do pesquisador. A entrada para o modelo \u00e9 <strong>um<\/strong><strong> \u00fanico prompt<\/strong> (expresso em linguagem natural) submetido pelo avaliador humano e a sa\u00edda consiste em <strong>uma<\/strong><strong> \u00fanica resposta<\/strong> gerada pelo modelo (tamb\u00e9m expressa em linguagem natural). Neste contexto,\u00a0algumas afirma\u00e7\u00f5es s\u00e3o tomadas como premissas:<\/p>\n<ul>\n<li data-start=\"470\" data-end=\"1307\">Cada prompt apresentado como entrada para o modelo de linguagem constitui uma inst\u00e2ncia que \u00e9 processada independentemente de outras inst\u00e2ncias. Por analogia com a an\u00e1lise estat\u00edstica de dados, o conjunto de prompts submetidos pelo avaliador humano ao modelo de linguagem deve seguir uma distribui\u00e7\u00e3o independente. Em outras palavras, o contexto e a inten\u00e7\u00e3o inerentes a um prompt n\u00e3o est\u00e3o relacionados ao contexto e inten\u00e7\u00e3o inerentes a quaisquer outros prompts submetidos anteriormente ao modelo de linguagem;<\/li>\n<li data-start=\"470\" data-end=\"1307\">Como consequ\u00eancia dessa independ\u00eancia, a ordem em que os prompts s\u00e3o apresentados ao modelo de linguagem n\u00e3o influencia o processo de gera\u00e7\u00e3o de respostas aos prompts e, portanto, n\u00e3o afeta os resultados da avalia\u00e7\u00e3o do modelo de linguagem.<\/li>\n<\/ul>\n<p>Alguns exemplos de tarefas t\u00edpicas realizadas por LLMs que podem ser modeladas como <strong>tarefas do tipo Q&amp;A<\/strong> s\u00e3o: completamento de texto, perguntas e respostas (Q&amp;A), tradu\u00e7\u00e3o, resumo e parafraseamento. Ao configurar o HarpIA Survey para desempenhar uma <strong>avalia\u00e7\u00e3o baseada em prompt simples<\/strong>, resultados como os ilustrados abaixo s\u00e3o produzidos.<\/p>\n<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/exemplo-tarefa-tipo-1.jpg\"><br \/>\n<img loading=\"lazy\" decoding=\"async\" class=\"wp-image-1836 aligncenter\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/exemplo-tarefa-tipo-1-300x87.jpg\" alt=\"\" width=\"800\" height=\"232\" srcset=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/exemplo-tarefa-tipo-1-300x87.jpg 300w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/exemplo-tarefa-tipo-1-1024x297.jpg 1024w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/exemplo-tarefa-tipo-1-768x223.jpg 768w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/exemplo-tarefa-tipo-1-400x116.jpg 400w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/exemplo-tarefa-tipo-1.jpg 1421w\" sizes=\"auto, (max-width: 800px) 100vw, 800px\" \/><\/a><\/p>\n<p>A fim de compreender como se d\u00e1 a cria\u00e7\u00e3o e aplica\u00e7\u00e3o deste tipo de tarefa no HarpIA Survey, assista os v\u00eddeos a seguir. No primeiro v\u00eddeo, a cria\u00e7\u00e3o de uma tarefa para avalia\u00e7\u00e3o baseada em ataques a um grande modelo de linguagem \u00e9 ilustrada \u2013 no modelo de trabalho de um <em>Red Team<\/em>. No segundo v\u00eddeo, \u00e9 mostrada a intera\u00e7\u00e3o de um avaliador com a tarefa.<\/p>\n<ul>\n<li>Cria\u00e7\u00e3o da tarefa<\/li>\n<\/ul>\n<p><iframe loading=\"lazy\" title=\"HarpIA Survey - avalia\u00e7\u00e3o baseada em prompts simples - cria\u00e7\u00e3o da tarefa\" width=\"640\" height=\"360\" src=\"https:\/\/www.youtube.com\/embed\/zEnZKYp-wro?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p>\n<ul>\n<li>Intera\u00e7\u00e3o com a tarefa<\/li>\n<\/ul>\n<p><iframe loading=\"lazy\" title=\"HarpIA Survey - avalia\u00e7\u00e3o baseada em prompts simples - tarefa do avaliador\" width=\"640\" height=\"360\" src=\"https:\/\/www.youtube.com\/embed\/FJ9CBi_Uuf4?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>A avalia\u00e7\u00e3o baseada em prompt simples exige a execu\u00e7\u00e3o por parte do avaliador humano de uma sequ\u00eancia de tarefas do tipo Q&amp;A. Esta tarefa consiste em uma intera\u00e7\u00e3o entre o avaliador humano e o modelo de linguagem, seguida da considera\u00e7\u00e3o pelo avaliador humano de conjunto de perguntas sobre como ele ou ela percebe certas qualidades<a href=\"https:\/\/sites.usp.br\/keml\/harpia-survey-avaliacao-baseada-em-prompts-simples-atividade-do-tipo-1\/\">[&#8230;]<\/a><\/p>\n","protected":false},"author":24022,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"class_list":["post-1816","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1816","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/users\/24022"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/comments?post=1816"}],"version-history":[{"count":5,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1816\/revisions"}],"predecessor-version":[{"id":2304,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1816\/revisions\/2304"}],"wp:attachment":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/media?parent=1816"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}