Tokens verstehen: Grundlagen für den Alltag mit KI-Agenten

Tokens Intro

Jedes Sprachmodell arbeitet in derselben Einheit. Ob im Chat, in einem Agenten oder in einer eingebundenen Anwendung: Bevor ein Modell etwas verarbeitet, zerlegt es Text in Tokens.

Die meisten begegnen dem Begriff zuerst auf einer Rechnung oder in einer Limitmeldung, und damit im falschen Zusammenhang. Tokens erklären nicht nur Kosten. Sie erklären, warum ein Modell im langen Gespräch den Faden verliert, warum eine kurze Frage viel Rechenzeit auslösen kann und warum dieselbe Aufgabe auf Deutsch anders läuft als auf Englisch.

Tokens zu verstehen heißt nicht, sparsamer zu arbeiten. Es heißt, gezielter zu arbeiten.

Ein Token ist ein Textbaustein

Ein Sprachmodell verarbeitet Zahlen. Ein Token ist ein Textbaustein mit einer festen Nummer: mal ein ganzes Wort, mal eine Silbe, mal ein Satzzeichen. Der Vorrat an Nummern ist begrenzt.

Häufige Wörter bekommen einen eigenen Token, seltene werden aufgeteilt. „Garten" bleibt ein Baustein, „Wareneingangsbuch" zerfällt in mehrere.

Daraus folgt eine Eigenheit, die im deutschsprachigen Arbeitsalltag ständig auftritt. Deutsche Texte verbrauchen mehr Tokens als englische mit demselben Inhalt, weil Komposita und Flexionsformen häufiger aufgeteilt werden. Fachsprache aus Buchhaltung, Recht oder Technik trifft es besonders. Für die Qualität Ihrer Antworten ist das kein Nachteil, für die Länge dessen, was in ein Gespräch passt, schon.

Das Modell sieht bei jeder Frage weit mehr als Ihre Frage

Wenn Sie eine Zeile eintippen, geht sehr viel mehr an das Modell. Es erhält die Grundanweisung des Agenten, dessen Konfiguration, den bisherigen Gesprächsverlauf und die Beschreibungen aller Werkzeuge, die er benutzen darf. Bei einem Agenten mit angebundenem Wissen kommen die Dokumentenabschnitte dazu, die zu Ihrer Frage gefunden wurden.

Eine Frage mit acht Wörtern kann so einen Aufruf mit mehreren Zehntausend Tokens auslösen.

Praktisch heißt das: Was Sie an Material mitgeben, verdrängt anderes. Ein vollständiges Handbuch als Anhang ist selten hilfreicher als das eine Kapitel, um das es geht. Je genauer Sie eingrenzen, desto mehr Aufmerksamkeit bleibt für Ihre eigentliche Aufgabe.

Denkende Modelle erzeugen Tokens, die niemand zu sehen bekommt

Manche Modelle formulieren vor der Antwort einen inneren Argumentationsgang aus. Dieser Text wird nie angezeigt, er entsteht trotzdem, und er braucht Zeit. Wenn ein Modell auf eine einfache Frage auffällig lange braucht, liegt das meist daran.

Für Ihre Arbeit heißt das vor allem eines: Die Wartezeit sagt wenig über die Schwierigkeit Ihrer Frage aus. Sie sagt etwas darüber, welches Modell hinter dem Agenten arbeitet.

Und genau dort liegt die Entscheidung. Ein kleineres Modell antwortet schneller und reicht für Aufgaben mit klar beschreibbarem Ablauf vollkommen aus. Ein denkendes Modell lohnt sich, wo die Aufgabe offen ist und Sie selbst noch nicht genau wissen, wie das Ergebnis aussehen soll. Welches Modell ein Agent verwendet, wird bei seiner Einrichtung festgelegt. Wenn ein Agent regelmäßig zu langsam oder zu oberflächlich antwortet, ist das der Punkt, an dem Sie mit Ihrer IT sprechen sollten.

Präzision spart mehr als Kürze

Hier liegt das häufigste Missverständnis. Kurze Prompts wirken sparsam, sind es aber selten.

Eine vage Anweisung führt zu einer Antwort, die nicht passt, dann zu einer Nachfrage, dann zu einer Korrektur. Drei Runden für ein Ergebnis. Eine ausführliche Anweisung, die Format, Zielgruppe, Umfang und Ausschlüsse benennt, trifft häufig beim ersten Versuch.

Der längere Prompt verbraucht mehr Tokens pro Aufruf und weniger insgesamt. Wichtiger noch: Er kostet Sie weniger Zeit.

Was das im Arbeitsalltag bedeutet

• Ein Thema pro Chat, statt alles in einem langen Verlauf zu sammeln

• Das relevante Kapitel mitgeben, statt das vollständige Dokument

• Anweisungen ausformulieren, auch wenn sie dadurch länger werden

• Bei wiederkehrend unpassenden Antworten den Agenten melden, statt Umwege zu bauen

Nutzung zu begrenzen ist der schwächste Hebel

Wer sich zum ersten Mal mit Tokenverbrauch beschäftigt, kommt schnell auf den Gedanken, die Nutzung zu deckeln. Das ist verständlich und in der Wirkung enttäuschend.

Der Verbrauch entsteht überwiegend dort, wo Anwendende gar nicht hinkommen: in der Konfiguration der Agenten, in der Qualität des Retrievals, in der Zuordnung von Modellen zu Anwendungsfällen und in der Frage, ob wiederkehrende Bestandteile zwischengespeichert werden. An diesen Stellen liegen Größenordnungen. Beim einzelnen Nutzerverhalten liegen Prozente.

Enge Limits haben zudem eine Nebenwirkung, die teurer ist als jede Tokenrechnung. Wer im Unternehmen nicht arbeiten kann, arbeitet daneben, mit privaten Zugängen und Unternehmensdaten in Diensten, die niemand verwaltet.

Ein Agent, den aus Vorsicht niemand mehr nutzt, verursacht keine Tokenkosten. Er verursacht auch keine Wertschöpfung.

Was SAALT dafür bereitstellt

SAALT Core zeigt Verbrauch und Kosten je Space, Agent und Nutzer. Der Zweck dieser Transparenz ist Steuerung an der richtigen Stelle: Sie sehen, welcher Agent auffällig teuer arbeitet, und können seine Konfiguration ändern, statt die Nutzung zu beschränken. Welches Modell ein Agent verwendet, entscheiden Sie je Anwendungsfall.

Im Enablement des SAALT Adoption Frameworks ist der Umgang mit Kontext, Wissensanbindung und Prompt-Präzision fester Bestandteil. Anwendende, die verstehen, was im Hintergrund passiert, brauchen weniger Versuche pro Ergebnis.

Verstehen, bevor begrenzt wird.

• Verbrauch und Kosten je Space, Agent und Nutzer sichtbar

• Modellauswahl pro Agent und Anwendungsfall

• 100 % Datenhoheit in Österreich

Fazit

Tokens sind keine Abrechnungsgröße, mit der sich Anwendende beschäftigen müssten. Sie sind die Erklärung dafür, warum ein Modell manchmal exakt antwortet und manchmal danebenliegt.

Wer weiß, was das Modell bei jeder Frage tatsächlich zu sehen bekommt, stellt bessere Fragen. Alles Weitere folgt daraus.