Validador de Datasets de Fine-Tuning

O que é um Validador de Dataset de Fine-Tuning?

Um validador de dataset de fine-tuning verifica seus dados de treinamento em JSONL quanto a erros estruturais, campos ausentes e inconsistências de formato antes de enviá-los para a API de fine-tuning de um provedor de IA. Detectar esses problemas localmente evita execuções de treinamento falhas, custos de computação desperdiçados e horas depurando mensagens de erro crípticas da API.

O fine-tuning permite personalizar um modelo base com seus próprios exemplos — mas os dados de treinamento devem seguir um formato rigoroso. A OpenAI exige um array de messages com roles system, user e assistant. A Anthropic usa turnos alternados de human e assistant. Mesmo uma única linha mal formatada pode fazer com que todo o job de treinamento falhe.

Nosso validador gratuito detecta automaticamente o formato, valida cada linha individualmente, conta tokens por exemplo, estima custos de fine-tuning entre provedores e permite exportar apenas os exemplos válidos. Todo o processamento acontece no seu navegador — seus dados de treinamento nunca saem da sua máquina.

Como Usar Esta Ferramenta

Validar seu dataset de fine-tuning leva apenas alguns passos:

1. Cole seus dados JSONL ou arraste e solte um arquivo .jsonl na área de entrada. Cada linha deve ser um objeto JSON válido.
2. O validador detecta automaticamente o formato (OpenAI Chat, OpenAI Completions ou Anthropic) e valida cada linha contra o schema esperado.
3. Defina o limite máximo de tokens por exemplo usando o dropdown — exemplos que excedem esse limite serão sinalizados com avisos.
4. Revise as estatísticas resumidas: total de exemplos, contagem de válidos/inválidos, estatísticas de tokens (média, mín, máx, mediana) e custos estimados de fine-tuning.
5. Verifique os resultados individuais por linha — erros mostram exatamente o que está errado (roles ausentes, conteúdo vazio), avisos sinalizam violações de limite de tokens.
6. Use os botões Copiar para exportar exemplos válidos, estatísticas ou o relatório completo de validação.

Formatos de Fine-Tuning Suportados

O validador suporta os três formatos de dataset de fine-tuning mais comuns:

Formato OpenAI Chat

O formato padrão para fine-tuning de modelos GPT. Cada exemplo é um objeto JSON com um array de messages contendo objetos com campos role (system, user ou assistant) e content. Todo exemplo deve incluir pelo menos uma mensagem user e uma mensagem assistant.

Formato OpenAI Completions (Legado)

O formato mais antigo usa campos de string prompt e completion. Embora ainda seja suportado para alguns modelos, a OpenAI recomenda migrar para o formato chat em todos os novos jobs de fine-tuning.

Formato Anthropic

O formato de fine-tuning da Anthropic usa um array de messages com roles human e assistant em turnos alternados. O validador verifica se os roles se alternam corretamente e se nenhuma mensagem possui conteúdo vazio.

Entendendo os Custos de Fine-Tuning

Os custos de fine-tuning são baseados no número total de tokens de treinamento em todos os exemplos, multiplicado pelo preço de treinamento por token. O validador estima custos para todos os modelos que atualmente suportam fine-tuning, incluindo GPT-4o, GPT-4o Mini e Mistral Small.

As contagens de tokens mostradas são estimativas baseadas em uma proporção de aproximadamente 4 caracteres por token para texto em inglês. As contagens reais de tokens podem variar de 10 a 20% dependendo do vocabulário e conteúdo. Para contagens exatas, use o tokenizer do provedor após a validação.

Perguntas Frequentes

Ferramentas Relacionadas

Explore mais ferramentas para seu fluxo de desenvolvimento de IA:

• Gerador de JSON Schema para IA — Gere JSON schemas para saídas estruturadas e function calling
• Calculadora de Custos de API de IA — Compare preços de API entre provedores para escolher o melhor modelo para fine-tuning
• Construtor de Mensagens de Conversa — Construa e teste arrays de mensagens de chat no mesmo formato usado para fine-tuning