BPE Visualizer

Modus

Text wird in Zeichen zerlegt. BPE fasst die häufigsten Zeichen-Paare Schritt für Schritt zusammen.

Warum wird Text in Tokens zerlegt?

Ein Sprachmodell verarbeitet Text als Sequenz von Einheiten, die je eine Nummer bekommen, denn gerechnet wird mit Zahlen. Je länger die Sequenz, desto teurer die Verarbeitung. Einzelne Zeichen als Einheiten halten das Vokabular klein, machen die Sequenzen aber sehr lang. Ganze Wörter halten die Sequenzen kurz, machen aber das Vokabular sehr groß. Und sie haben ein zweites Problem: Wörter, die nicht im Vokabular stehen, lassen sich gar nicht erst darstellen. Subword-Verfahren balancieren beides: Häufige Zeichenfolgen werden zu eigenen Tokens, seltene bleiben zerlegbar. Byte Pair Encoding ist eines der gängigsten dieser Verfahren und kommt unter anderem bei GPT zum Einsatz. Der Beispieltext unten beschreibt genau das. Beim Durchklicken siehst du, wie seine häufigsten Muster Schritt für Schritt zu eigenen Tokens werden.

Eingabe & Steuerung

Leerzeichen erscheinen als ␣, Zeilenumbrüche als ↵. Mit den Pfeiltasten ← → schaltest du vor und zurück.

Aktueller Token-Stream

Häufigste Paare

Vokabular

Merge-Verlauf

Wie funktioniert BPE?

  1. Der Text wird in einzelne Zeichen zerlegt.
  2. Jedes Zeichen ist zu Beginn ein eigenes Token.
  3. Die häufigsten benachbarten Zeichen-Paare werden Schritt für Schritt zusammengefasst, aber nie über Wortgrenzen hinweg (Leerzeichen, Zeilenumbrüche).
  4. So entsteht ein wachsendes Vokabular aus Zeichenfolgen.

Diese Variante ist intuitiver. Reale Tokenizer arbeiten aber meist auf Byte-Ebene: Das Basis-Vokabular bleibt auf 256 Tokens begrenzt, und selbst unbekannte Zeichen lassen sich immer in Bytes zerlegen.