Tokenizer & Token Calculator
Schätzen Sie Tokens für Prompts, Chats und langen Textinhalt
Tokenizer & Token-Rechner
Genaue Tokenzahlen mit OpenAI-kompatiblen Codierungen.
Tokenzahlen entsprechen der ausgewählten Codierung. Verschiedene Modelle verwenden verschiedene Codierungen.
Token-Zähler für genaue LLM-Prompt-Planung
Wenn Sie mit großen Sprachmodellen arbeiten, ist die Token-Anzahl die erste Größe, die Sie messen. Die Token-Anzahl bestimmt, ob ein Prompt in das Kontextfenster eines Modells passt, wie viel eine Konversation kostet und wie viel Platz noch für Ausgaben verfügbar ist. Diese Seite bietet einen praktischen Token-Zähler, der mit OpenAI-kompatiblen Kodierungen übereinstimmt und Ihnen bei der Planung von Prompts, der Aufteilung langer Dokumente und der Stabilität Ihrer Workflows hilft. Verwenden Sie den Tokenizer oben, um die genaue Token-Anzahl für jeden Text zu ermitteln, und befolgen Sie die unten stehenden Anleitungen, um die Ergebnisse zu interpretieren und Ihre Prompts zu optimieren.
Was bedeutet Token-Anzahl?
Die Token-Anzahl ist die Gesamtzahl der Tokens, die entstehen, wenn Text von einem Modell-Tokenizer kodiert wird. Ein Token kann ein Wort, ein Teilwort, eine Interpunktion oder ein einzelnes Zeichen sein. Da die Tokenisierung modellspezifisch ist, ist die Token-Anzahl nicht dasselbe wie die Wortanzahl. Kurze Wörter können ein Token sein, während längere Wörter in mehrere Tokens aufgeteilt werden. Symbole, Emojis und nicht-lateinische Schriftarten können die Token-Anzahl schnell erhöhen. Wenn Sie die Token-Anzahl messen, messen Sie die tatsächliche Eingabegröße, die das Modell sieht.
Warum die Token-Anzahl für Prompts wichtig ist
Die Token-Anzahl bestimmt, ob Ihr Prompt in das Kontextlimit passt und ob Ihre Anwendung schnell und kosteneffizient bleibt. Eine genaue Token-Anzahl verhindert stumme Kürzungen, vermeidet unerwartete Fehler und hilft Ihnen, Platz für die Modellausgabe zu budgetieren. In Produktionsystemen können Sie die Token-Anzahl verwenden, um Schutzschranken zu setzen, lange Eingaben vorzubereiten und Daten dynamisch zu segmentieren. Kurz gesagt, die Token-Anzahl ist die einfachste und zuverlässigste Methode, um die Prompt-Größe zu planen und Modellinteraktionen konsistent zu halten.
Token-Anzahl vs. Wortanzahl
Die Wortanzahl ist leicht zu sehen, aber die Token-Anzahl ist das, was das Modell tatsächlich verwendet. Für englischen Text ist eine grobe Faustregel, dass ein Token etwa vier Zeichen oder drei Viertel eines Wortes entspricht, aber dies ändert sich mit Interpunktion, Code und gemischten Sprachen. Beispielsweise erzeugen URLs, JSON und Code-Snippets oft eine höhere Token-Anzahl als einfacher Text. Deshalb ist die Token-Anzahl zuverlässiger als die Wortanzahl für die Planung und Budgetierung.
Unterstützte Kodierungen für die Token-Anzahl
cl100k_base
Diese Kodierung wird von Modellen der GPT-3.5- und GPT-4-Ära und den meisten Einbettungen verwendet. Wenn Sie ein klassisches GPT-4-Workflow anstreben, bietet diese Kodierung die genaueste Token-Anzahl.
o200k_base
Diese Kodierung wird von GPT-4o und der o1/o3-Serie verwendet. Wählen Sie sie, wenn Sie eine genaue Token-Anzahl für neuere, hochkontextuelle Modelle und multimodale Pipelines benötigen.
Wie dieser Token-Zähler funktioniert
Der Zähler verwendet die exakten Tokenizer-Definitionen für jede Kodierung. Wenn Sie Text einfügen, kodiert das Tool ihn und gibt die tatsächliche Token-Anzahl zurück. Dies ist keine Schätzung: die Token-Anzahl entspricht der ausgewählten Kodierung. Sie können auch ein Token-Budget und eine Segmentgröße festlegen, um zu sehen, wie viele Segmente für große Dokumente benötigt werden. Wenn Sie mit Zusammenfassungen, Abrufen oder Batch-Verarbeitung arbeiten, hilft die Token-Anzahl Ihnen, Eingaben konsistent zu segmentieren und Überläufe zu vermeiden.
Token-Anzahl für Code, JSON und Daten
Strukturierte Texte erhöhen oft die Token-Anzahl. JSON, XML und Code enthalten Klammern, Anführungszeichen und wiederholte Syntax, die zusätzliche Tokens erzeugen. Wenn Sie Code oder Logs in Prompts einbetten, überprüfen Sie die Token-Anzahl frühzeitig. Durch die Messung der Token-Anzahl können Sie entscheiden, ob Sie Daten komprimieren, Duplikate entfernen oder frühere Abschnitte zusammenfassen, bevor das Modell den Platz ausgeht. Ein stabiler Token-Anzahl-Workflow erleichtert das Debuggen, wenn Prompts komplex sind.
Token-Anzahl für mehrsprachige Inhalte
Die Token-Anzahl variiert stärker in mehrsprachigen Prompts. Einige Schriftarten werden auf Zeichenebene tokenisiert, was die Token-Anzahl im Vergleich zu englischem Text erhöht. Wenn Sie mit chinesischen, japanischen oder koreanischen Inhalten arbeiten, messen Sie die Token-Anzahl direkt, anstatt sich auf die Wortanzahl zu verlassen. Der Tokenizer oben handhabt diese Schriftarten genau für die ausgewählte Kodierung und bietet eine zuverlässige Token-Anzahl für mehrsprachige Datensätze.
Best Practices für Token-Anzahl-Budgetierung
- Reservieren Sie Platz für die Modellausgabe. Ihre Prompt-Token-Anzahl sollte unter dem maximalen Kontext bleiben.
- Halten Sie Systemanweisungen kurz und verwenden Sie sie über mehrere Anfragen hinweg, um die Token-Anzahl-Overhead zu reduzieren.
- Segmentieren Sie lange Dokumente und verwenden Sie Zusammenfassungen, um die Token-Anzahl über mehrere Iterationen hinweg stabil zu halten.
- Entfernen Sie wiederkehrende Standardtexte und binden Sie große Daten nur dann ein, wenn es erforderlich ist.
- Messen Sie die Token-Anzahl für Eingabe und Ausgabe, wenn Sie Kosten schätzen.
Token-Anzahl-Workflow-Beispiele
Wenn Sie einen Chatbot bauen, können Sie die Token-Anzahl für die Konversationsgeschichte berechnen und die ältesten Nachrichten kürzen, wenn die Token-Anzahl eine Schwellenwert erreicht. Wenn Sie ein Zusammenfassungstool bauen, können Sie die Token-Anzahl verwenden, um konsistente Segmente zu erstellen, sodass jeder Zusammenfassungsschritt in das Modell passt. Wenn Sie Abrufsysteme bauen, hilft Ihnen die Token-Anzahl, zu entscheiden, wie viele Passagen in einen Prompt eingefügt werden können, ohne das Kontextfenster zu überschreiten. Diese Workflows profitieren alle von einer genauen Token-Anzahl-Überprüfung.
Ein einfacher operativer Ablauf besteht darin, die Token-Anzahl bei jeder Anfrage zu protokollieren und sie mit der Benutzersitzung oder Aufgabe zu speichern. Im Laufe der Zeit können Sie Prompts mit ungewöhnlich hoher Token-Anzahl erkennen, Vorlagen kürzen und feststellen, wo Token-Anzahl-Spitzen auftreten. Dies ist besonders hilfreich für Agentenworkflows, bei denen Toolausgaben, Gedankenkette-Puffer oder abgerufene Dokumente anwachsen. Durch die Überwachung der Token-Anzahl in der Produktion können Sie pro-Benutzer-Limits erzwingen, Latenz gegen Qualität abwägen und Kosten vorhersagbar halten. Token-Anzahl-Protokolle helfen Ihnen auch, neue Prompt-Varianten zu bewerten: Wenn ein Prompt ähnlich gut performt, aber weniger Tokens verwendet, ist die Version mit der geringeren Token-Anzahl in der Regel die bessere Wahl.
Häufig gestellte Fragen zur Token-Anzahl
Ist diese Token-Anzahl exakt?
Ja. Die Token-Anzahl wird mit der ausgewählten Kodierung berechnet, sodass sie dem tatsächlichen Tokenizer entspricht, der von kompatiblen Modellen verwendet wird. Wählen Sie immer die richtige Kodierung für Ihr Modell, um die Token-Anzahl genau zu halten.
Wie beeinflusst die Token-Anzahl die Preise?
Die meisten Anbieter berechnen nach Token-Anzahl. Durch die Messung der Token-Anzahl vor dem Senden von Anfragen können Sie Kosten schätzen, ein kleineres Modell wählen, wenn möglich, und Schutzschranken für intensiven Einsatz setzen.
Warum hat sich meine Token-Anzahl nach Bearbeitungen geändert?
Die Tokenisierung reagiert auf kleine Textänderungen. Das Hinzufügen von Interpunktion, das Ändern der Groß- und Kleinschreibung oder das Einfügen von strukturierten Daten kann die Token-Anzahl erhöhen. Überprüfen Sie die Token-Anzahl immer nach Bearbeitungen, um Überraschungen zu vermeiden.
Welche Token-Anzahl sollte ich anstreben?
Streben Sie eine Prompt-Token-Anzahl an, die genug Platz für die Ausgabe lässt. Zum Beispiel, wenn Ihr Modell einen 16k-Kontext unterstützt und Sie 2k Ausgabetokens wünschen, halten Sie die Eingabetoken-Anzahl unter 14k. Diese Pufferzone reduziert Fehler und verbessert die Zuverlässigkeit.
Zusammenfassung
Die Token-Anzahl ist das praktischste Maß für die Prompt-Planung, die Kostenkontrolle und die Kontextverwaltung. Mit einem genauen Tokenizer können Sie die Token-Anzahl in Echtzeit messen, Grenzen vorhersagen und robuste LLM-Anwendungen bauen. Verwenden Sie den Token-Zähler oben, um Ihre Eingaben zu überprüfen und Ihre Workflows glatt, sicher und vorhersagbar zu halten.
Ob Sie Prompts manuell schreiben oder automatisch generieren, eine verlässliche Token-Anzahl-Überprüfung hält Ihr Team auf Kurs. Sie verhindert versteckte Kürzungen, klärt die tatsächliche Größe von Vorlagen und erleichtert A/B-Tests. Wenn Sie die Token-Anzahl in Design, Engineering und QA standardisieren, werden Sie schneller liefern und weniger Zeit mit Randfällen verbringen.