JSONL-Validator

Fine-Tuning-Jobs scheitern an Kleinigkeiten: eine kaputte Zeile, eine unbekannte Rolle, ein Beispiel ohne Antwort des Assistenten. Eine reine JSON-Prüfung findet davon kaum etwas. Dieser Validator prüft jede Zeile einer JSONL-Datei auf gültiges JSON und auf das Chat-Format, das das Fine-Tuning von OpenAI, Mistral oder Anthropic erwartet, und sagt Ihnen genau, welche Zeile warum fehlerhaft ist.

So validieren Sie eine JSONL-Datei

1. Fügen Sie den Inhalt Ihrer .jsonl-Datei ein oder klicken Sie auf Beispiel testen, um typische Fehler zu sehen.
2. Lassen Sie das Format auf Automatisch erkennen oder wählen Sie OpenAI, Anthropic, Mistral oder Nur JSON-Syntax.
3. Lesen Sie die Zusammenfassung (gültige Zeilen, Fehler, Warnungen) und die Liste darunter. Die Zeilennummern entsprechen Ihrer Datei, Leerzeilen eingeschlossen.
4. Beheben Sie die Fehler in Ihrem Editor und fügen Sie die Datei erneut ein, bis alle Zeilen gültig sind.

Was ist JSONL, und wie sieht eine Fine-Tuning-Datei aus?

JSONL (JSON Lines) speichert ein vollständiges JSON-Objekt pro Zeile, ohne Kommas zwischen den Zeilen und ohne umschließendes Array. Große Datensätze lassen sich so leicht streamen und erweitern; deshalb erwarten die meisten Fine-Tuning- und Batch-APIs dieses Format.

Beim Chat-Fine-Tuning ist jede Zeile ein Trainingsbeispiel: ein Objekt mit einem Array messages. Jede Nachricht hat eine role und einen content, der ein String oder eine Liste von Inhaltsteilen ist. Das Modell lernt aus den assistant-Nachrichten, also braucht jedes Beispiel mindestens eine davon.

• OpenAI: Rollen system, developer, user, assistant und tool; Inhaltsteile können Text oder Bilder sein; eine Assistentennachricht darf nur Tool-Aufrufe enthalten.
• Mistral: dasselbe Prinzip mit den Rollen system, user, assistant und tool.
• Anthropic (Claude-Fine-Tuning): Der Systemprompt ist ein system-String auf oberster Ebene; Nachrichten nutzen nur user und assistant, beginnen mit user, wechseln sich ab und enden mit assistant.

Die Anforderungen der Anbieter ändern sich, und manche verlangen zusätzliche Felder (Tools, Gewichte, Präferenzdaten). Nutzen Sie diese Prüfung als schnellen ersten Durchgang und prüfen Sie vor einem großen Upload mit dem Validator oder der Dokumentation des Anbieters nach.

Häufig gestellte Fragen

Was ist der Unterschied zwischen JSON und JSONL?

Eine JSON-Datei enthält einen einzigen Wert, oft ein großes Array. Eine JSONL-Datei enthält einen JSON-Wert pro Zeile, ohne etwas dazwischen. JSONL lässt sich Zeile für Zeile lesen, ohne die ganze Datei zu laden – deshalb wird es für große Datensätze verwendet.

Warum wird eine Leerzeile als Warnung gemeldet?

Viele Fine-Tuning- und Batch-APIs lehnen Dateien mit leeren Zeilen ab, und die entstehen leicht beim Zusammenfügen von Dateien. Ein Zeilenumbruch ganz am Ende der Datei ist normal und wird nicht gemeldet.

Wie wählt die automatische Erkennung das Format?

Sie prüft die erste gültige Zeile. Ein „system“-String auf oberster Ebene mit nur user- und assistant-Nachrichten gilt als Anthropic, jedes andere „messages“-Array als OpenAI, alles andere wird nur auf JSON-Syntax geprüft. Liegt die Erkennung falsch, wählen Sie das Format von Hand.

Warum scheitert ein Beispiel ohne Assistentennachricht?

Beim Chat-Fine-Tuning lernt das Modell, die Assistentenantworten zu erzeugen. Ein Beispiel ohne eine solche Antwort bringt ihm nichts bei, und die Anbieter lehnen es ab.

Werden meine Trainingsdaten hochgeladen?

Nein. Die Datei wird per JavaScript in Ihrem Browser gelesen und geprüft. Nichts wird an unsere Server gesendet – wichtig bei privaten oder Kundendaten.