|
7 | 7 |
|
8 | 8 | **Prompt do Usuário:** |
9 | 9 |
|
10 | | -Atuando como analista de requisitos, utilize as melhores práticas de engenharia de requisitos, para analisar as documentaçõe e codigos presentes na origem repositório "https://github.com/destaquesgovbr/data-science/tree/main/docs/01_issue1_embeddings" , |
11 | | -colete os resultados finais da execução do experimento do plano estabelecido e realizado sobre "Comparativo de Modelos de Embedding PT-BR" estabelecido no Issue #1 e gere um relatório técnico sobre o trabalho realizado nesta pesquisa, a qual foi também utilizada como base de referencia para o desenvolvimento do sistema portal de notícias do governo brasileiro, conforme contexto abaixo: |
12 | | - |
13 | | -1. Contexto de Negócio: Qual problema da empresa motivou essa pesquisa? |
14 | | - |
15 | | -2. Objetivo da Pesquisa: Avaliar a eficácia, custo e viabilidade dos principais modelos de embedding para o Português Brasileiro. |
16 | | - |
17 | | -3. Metodologia usada na pesquisa. |
18 | | - |
19 | | -4. Recomendação Final: Qual modelo foi o vencedor para o nosso cenário e o porquê. |
20 | | - |
21 | | -5. Escopo da Avaliação (O que foi testado). Utilize dados que foram prodizidos durantes os testes realizados. |
22 | | - |
23 | | -6. Como foi realizado o estudo feito pelo Cientista de Dados. |
24 | | - |
25 | | -7. Modelos Avaliados |
26 | | - |
27 | | -8. Critérios de Sucesso (Requisitos Não-Funcionais): O que pesou na balança? |
28 | | - |
29 | | -9. Acurácia Semântica. |
30 | | - |
31 | | -10. Latência de cada modelo testado e demora para gerar o vetor. |
32 | | - |
33 | | -11. Custo/Infraestrutura: Custo por milhão de tokens (se API) ou custo de servidor/GPU (se Open Source). |
34 | | - |
35 | | -12. Privacidade e Governança de Dados: Exigências de conformidade (LGPD) para dados sensíveis. |
36 | | - |
37 | | -13. Metodologia do Experimento: Uma explicação breve e de alto nível sobre como o Cientista de Dados validou os modelos. |
38 | | - |
39 | | -14. Massa de Dados Usada: Quantos documentos/frases foram testados? Eram dados reais da nossa empresa ou um dataset público (como o MTEB)? |
40 | | - |
41 | | -15. Métrica de Avaliação. |
42 | | - |
43 | | -16. Análise Comparativa e Resultados (O Coração do Relatório): Transformar dados técnicos em tabelas e gráficos visuais de fácil digestão. |
44 | | - |
45 | | -17. Tabela Comparativa Matriz: Uma visão cruzada dos critérios. |
46 | | - |
47 | | -18. Gráficos de Tendência:Ex: Gráfico de dispersão mostrando - Acurácia vs. Custo ou Acurácia vs. Velocidade. |
48 | | - |
49 | | -19. Análise de Trade-offs (Prós e Contras). |
50 | | - |
51 | | -20. Recomendação e Próximos Passos. |
52 | | - |
53 | | -21. Conclusão lógica baseada nos requisitos levantados. |
54 | | - |
55 | | -22. Modelo Escolhido: Declaração explícita de qual modelo deve ser adotado para a Fase 1 (MVP). Evite o uso de termos como "o modelo X performou muito melhor". Substitua por dados tangíveis de requisitos: "o modelo X apresentou um ganho de 18% em precisão semântica com um acréscimo de apenas 5ms na latência". |
56 | | - |
57 | | -23. Gere ao final do documento no trecho "Apêndice" com "Terminologias e Abreviações", |
58 | | -e também elabore de direta uma breve conceituação sobre "Embeddings", abordar também o "Por que os Embeddings são tão importantes hoje" e como "Como funciona na prática"? |
59 | | - |
60 | | -Execute essa tarefa em etapas para não perder o contexto, e ao final gere no arquivo "relatorios\Relatório-Ciencia-de-Dados-Embeddings-26-05-Versao-01.md", usando como base o template "docs\relatorios\Template-Relatório Técnico INSPIRE.md". |
61 | | - |
62 | | - |
63 | | -CONTEXTO DISPONÍVEL: |
64 | | -1. Relatório Final Issue #1 (relatorio_final_issue1.md) - JÁ LIDO |
65 | | -2. README Issue #1 - JÁ LIDO |
66 | | -3. Metodologia de Métricas - JÁ LIDO |
67 | | -4. Validação de Ranking - JÁ LIDO |
68 | | -5. Análise de Corpus - JÁ LIDO |
69 | | - |
70 | | -DADOS PRINCIPAIS JÁ COLETADOS: |
71 | | -- Modelo vencedor: BAAI/bge-m3 (99.6% recuperação, MRR 0.982) |
72 | | -- 9 modelos testados (6 multilíngues, 2 PT-BR específicos, 1 adicional) |
73 | | -- Corpus: 250 documentos, 259 queries, 2.591 anotações |
74 | | -- Hipótese testada e REFUTADA: PT-específicos NÃO superaram multilinguais |
75 | | -- Validação: 100% alinhamento com MTEB e BEIR benchmarks |
76 | | -- Ranking completo disponível nas tabelas já lidas |
77 | | -``` |
| 10 | +Analise as documentações e codigos presentes na origem repositório "https://github.com/destaquesgovbr/data-science/blob/main/docs/02_issue2_finetuning/" , |
| 11 | +colete os resultados finais da execução do experimento do plano estabelecido realizado |
| 12 | +sobre "Issue #2 - Fine-Tuning de Embedding Model", e gere uma nova versão do relatório técnico "relatorios\Relatório-Ciencia-de-Dados-Embeddings-26-05-Versao-02.md" acrescentando ao final do documento, |
| 13 | +antes do trecho sobre "Apêndice A - Terminologias e Abreviações", os resultados deste trabalho de pesquisa, atualize também |
| 14 | +o trecho "Terminologias e Abreviações", dos termos do conteúdo provienentes deste no estudo. |
| 15 | + |
| 16 | +Execute essa tarefa em etapas para não perder o contexto, usando como base o template |
| 17 | +"docs\relatorios\Template-Relatório Técnico INSPIRE.md" |
78 | 18 |
|
79 | 19 | **Revisado por:** <!-- NÃO PREENCHA ESTE CAMPO: O humano preencherá manualmente--> |
80 | 20 |
|
|
0 commit comments