Вставьте текст, чтобы увидеть число токенов и стоимость в каждом токенизаторе. Для семейства OpenAI подсчёт выполняется точно в браузере, остальные помечены как оценка с погрешностью. Разница наибольшая для китайского и другого CJK-текста: на тех же символах o200k расходует заметно меньше токенов, чем cl100k.
| Токенизатор | Токены | Символов / токен | Точность |
|---|---|---|---|
GPT-4o / GPT-5 (o200k) | 0 | — | Точно |
GPT-4 / GPT-3.5 (cl100k) | 0 | — | Точно |
Claude | 0 | — | Оценка ±20% |
Gemini | 0 | — | Оценка ±20% |
Llama 3 | 0 | — | Оценка ±25% |
Точные значения считает gpt-tokenizer (o200k_base / cl100k_base). Оценки опираются на точное значение o200k и масштабируются по доле CJK, поэтому воспринимайте их как порядок величины, а не как точные числа. У Claude и Gemini нет публичного токенизатора для браузера.
Стоимость = токены ÷ 1M × прайсовая цена модели. «Как вход» использует цену входа, «как выход» — цену выхода. Число токенов для моделей не от OpenAI — это оценка.