{"id":512,"date":"2024-04-20T00:53:35","date_gmt":"2024-04-20T02:53:35","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=512"},"modified":"2024-09-22T00:37:30","modified_gmt":"2024-09-22T02:37:30","slug":"modelos","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/modelos\/","title":{"rendered":"Modelos"},"content":{"rendered":"<div id=\"attachment_1200\" style=\"width: 310px\" class=\"wp-caption alignleft\"><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9.jpeg\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-1200\" class=\"wp-image-1200 size-medium\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-300x300.jpeg\" alt=\"\" width=\"300\" height=\"300\" srcset=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-300x300.jpeg 300w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-150x150.jpeg 150w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-768x768.jpeg 768w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-250x250.jpeg 250w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-174x174.jpeg 174w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-45x45.jpeg 45w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-200x200.jpeg 200w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9-400x400.jpeg 400w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2024\/05\/modelo-9.jpeg 1024w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a><p id=\"caption-attachment-1200\" class=\"wp-caption-text\">Imagem criada por IA (Copilot)<\/p><\/div>\n<p>O grupo KEML, desde que foi criado em 2021, criou uma s\u00e9rie de modelos para diversos prop\u00f3sito: tradutor do tipo text2SQL, modelos de linguagem anteriores ao evento dos grandes modelos de linguagem, arquiteturas para implementa\u00e7\u00e3o de agentes conversacionais, etc. Aqui voc\u00ea encontra uma lista de reposit\u00f3rios do GitHub e do Hugging Face que ilustra o trabalho j\u00e1 realizado pelo grupo.<\/p>\n<p>Mais informa\u00e7\u00f5es sobre esses modelos pode ser obtidas neste website, nas op\u00e7\u00f5es do menu <a href=\"https:\/\/sites.usp.br\/keml\/recursos\/\" target=\"_blank\" rel=\"noopener\">Recursos<\/a>, ou via\u00a0<a href=\"https:\/\/sites.usp.br\/keml\/contato\/\" target=\"_blank\" rel=\"noopener\">Contato<\/a>\u00a0com o grupo.<\/p>\n<hr \/>\n<ul>\n<li><strong>Cocoruta 1.0:<\/strong> \u00e9 um modelo de linguagem especializado, ajustado para responder perguntas baseadas em documentos jur\u00eddicos, desenvolvido para abordar quest\u00f5es legais relacionadas \u00e0 &#8220;Amaz\u00f4nia Azul&#8221; \u2014 um termo usado para descrever o extenso territ\u00f3rio mar\u00edtimo do Brasil. Cocoruta 1.0 \u00e9 baseado no modelo LLaMa 2-7B, ajustado com um corpus de 68.991 documentos jur\u00eddicos totalizando 28,4 milh\u00f5es de tokens. Apesar de ter sido treinado com menos par\u00e2metros do que alguns modelos maiores, o Cocoruta demonstra um desempenho competitivo no discurso jur\u00eddico espec\u00edfico de seu dom\u00ednio.<\/li>\n<\/ul>\n<p>O modelo Cocoruta, com 7 bilh\u00f5es de par\u00e2metros (LLaMa 2-7B), foi treinado utilizando um conjunto de dados de 28,4 milh\u00f5es de tokens extra\u00eddos de 68.991 documentos jur\u00eddicos. O processo de treinamento envolveu 15 \u00e9pocas para garantir uma aprendizagem abrangente dos dados. A efic\u00e1cia do modelo na gera\u00e7\u00e3o de conte\u00fado jur\u00eddico preciso e relevante foi avaliada por meio de v\u00e1rias m\u00e9tricas autom\u00e1ticas de avalia\u00e7\u00e3o. Ele alcan\u00e7ou uma pontua\u00e7\u00e3o BLEU de 61,2, uma pontua\u00e7\u00e3o ROUGE-N de 79,2, uma BERTSCORE de 91,2 e uma MOVERSCORE de 76,5, destacando seu forte desempenho na produ\u00e7\u00e3o de textos jur\u00eddicos de alta qualidade.<\/p>\n<p>O desempenho do Cocoruta na avalia\u00e7\u00e3o qualitativa demonstrou a utilidade do ajuste fino, j\u00e1 que respostas alinhadas ao discurso jur\u00eddico foram mais frequentes no Cocoruta em compara\u00e7\u00e3o com modelos maiores. Os modelos maiores apresentaram maior profici\u00eancia, entregando respostas bem estruturadas. No entanto, para perguntas n\u00e3o diretamente relacionadas ao contexto jur\u00eddico, as respostas dos modelos maiores n\u00e3o mantiveram o discurso legal: Ades\u00e3o ao discurso jur\u00eddico: 74%; Respostas corretas: 68%; Discurso inadequado: 51%.<\/p>\n<p><span style=\"color: #ff0000;\"><strong>Aviso Legal:<\/strong><\/span> O Cocoruta pode reproduzir preconceitos e vieses inerentes aos documentos jur\u00eddicos utilizados em seu treinamento, que incluem legisla\u00e7\u00f5es mais antigas. Os usu\u00e1rios devem ter cautela ao interpretar as sa\u00eddas do modelo, especialmente em contextos que exijam perspectivas jur\u00eddicas atualizadas ou que possam envolver grupos sub-representados. Observamos que o modelo Cocoruta, embora menos proficiente no tratamento de enunciados em compara\u00e7\u00e3o com modelos maiores, tende a introduzir um vi\u00e9s jur\u00eddico nas intera\u00e7\u00f5es potenciais.<\/p>\n<p>Acesse o modelo <a href=\"https:\/\/huggingface.co\/felipeoes\/cocoruta-7b\" target=\"_blank\" rel=\"noopener\">aqui<\/a>.<\/p>\n<p>Artigo cient\u00edfico relacionado ao Cocoruta 1.0 (por favor, cite este artigo se utilizar o modelo Cocoruta 1.0):<\/p>\n<ul>\n<li>Esp\u00edrito Santo, F. O.; Peres, S.M.; Gramacho, G. S.; Brand\u00e3o, A. A. F.; Cozman, F. G.\u00a0<strong>Legal Document-Based, Domain-Driven Q&amp;A System: LLMs in Perspective.<\/strong>\u00a0In Proceedings of International Joint Conference on Neural Networks (IJCNN 2024), Jap\u00e3o, 2024.<\/li>\n<\/ul>\n<p>* \u201cCocoruta\u201d \u00e9\u00a0 o nome dado a uma esp\u00e9cie de p\u00e1ssaro end\u00eamica do arquip\u00e9lago de Fernando de Noronha (Brasil), atualmente amea\u00e7ada de extin\u00e7\u00e3o. O nome do recurso foi escolhido como forma de homenagear a biodiversidade e ajudar na defesa da conserva\u00e7\u00e3o da Amaz\u00f4nia Azul (costa brasileira).<\/p>\n<hr \/>\n<h6 style=\"text-align: right;\"><\/h6>\n","protected":false},"excerpt":{"rendered":"<p>O grupo KEML, desde que foi criado em 2021, criou uma s\u00e9rie de modelos para diversos prop\u00f3sito: tradutor do tipo text2SQL, modelos de linguagem anteriores ao evento dos grandes modelos de linguagem, arquiteturas para implementa\u00e7\u00e3o de agentes conversacionais, etc. Aqui voc\u00ea encontra uma lista de reposit\u00f3rios do GitHub e do Hugging Face que ilustra o<a href=\"https:\/\/sites.usp.br\/keml\/modelos\/\">[&#8230;]<\/a><\/p>\n","protected":false},"author":24022,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"class_list":["post-512","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/512","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/users\/24022"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/comments?post=512"}],"version-history":[{"count":5,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/512\/revisions"}],"predecessor-version":[{"id":1606,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/512\/revisions\/1606"}],"wp:attachment":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/media?parent=512"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}