Validador JSONL

Jobs de fine-tuning falham por detalhes: uma linha quebrada, um papel desconhecido, um exemplo sem resposta do assistente. Uma verificação simples de JSON não pega quase nada disso. Este validador confere cada linha de um arquivo JSONL, tanto a sintaxe JSON quanto o formato de chat que o fine-tuning da OpenAI, da Mistral ou da Anthropic espera, e mostra exatamente qual linha está errada e por quê.

Como validar um arquivo JSONL

1. Cole o conteúdo do seu arquivo .jsonl ou clique em Ver um exemplo para ver erros comuns.
2. Deixe o formato em Detectar automaticamente ou escolha OpenAI, Anthropic, Mistral ou Só sintaxe JSON.
3. Leia o resumo (linhas válidas, erros e avisos) e a lista abaixo dele. Os números de linha batem com os do seu arquivo, incluindo linhas em branco.
4. Corrija os erros no seu editor e cole de novo até todas as linhas ficarem válidas.

O que é JSONL e como é um arquivo de fine-tuning?

JSONL (JSON Lines) guarda um objeto JSON completo por linha, sem vírgulas entre as linhas e sem um array em volta. Isso facilita processar e ampliar conjuntos de dados grandes, e por isso é o formato que a maioria das APIs de fine-tuning e de processamento em lote pede.

No fine-tuning de chat, cada linha é um exemplo de treino: um objeto com um array messages. Cada mensagem tem um role e um content, que é uma string ou uma lista de partes de conteúdo. O modelo aprende com as mensagens do assistant, então todo exemplo precisa de pelo menos uma.

• OpenAI: papéis system, developer, user, assistant e tool; partes de conteúdo podem ser texto ou imagem; uma mensagem do assistente pode trazer só chamadas de ferramentas.
• Mistral: a mesma ideia com os papéis system, user, assistant e tool.
• Anthropic (fine-tuning do Claude): o prompt de sistema é uma string system de nível superior; as mensagens só usam user e assistant, devem começar por user, se alternar e terminar em assistant.

Os requisitos dos provedores mudam, e alguns acrescentam campos extras (ferramentas, pesos, dados de preferência). Use esta verificação como um primeiro filtro rápido e confirme com o validador ou a documentação do provedor antes de enviar um job grande.

Perguntas frequentes

Qual a diferença entre JSON e JSONL?

Um arquivo JSON guarda um único valor, muitas vezes um grande array. Um arquivo JSONL guarda um valor JSON por linha, sem nada entre as linhas. Dá para ler JSONL linha por linha sem carregar o arquivo inteiro, por isso ele é usado em conjuntos de dados grandes.

Por que uma linha em branco aparece como aviso?

Muitas APIs de fine-tuning e de lote recusam arquivos com linhas vazias, e elas aparecem fácil quando se juntam arquivos. Uma quebra de linha bem no fim do arquivo é normal e não é sinalizada.

Como a detecção automática escolhe o formato?

Ela olha a primeira linha válida. Uma string “system” de nível superior com só mensagens de user e assistant é tratada como Anthropic; qualquer outro array “messages”, como OpenAI; o resto é verificado só como JSON. Se o palpite estiver errado, escolha o formato manualmente.

Por que um exemplo sem mensagem do assistente falha?

No fine-tuning de chat, o modelo é treinado para produzir os turnos do assistente. Um exemplo sem nenhum não ensina nada, e os provedores o recusam.

Meus dados de treino são enviados?

Não. O arquivo é lido e validado no seu navegador, com JavaScript. Nada é enviado aos nossos servidores, o que importa quando os dados são privados ou de clientes.