Token sayacı · tokenizer’lar arası
Bir metni yapıştırarak her tokenizer altındaki token sayısını ve maliyetini görün. OpenAI ailesi için sayım tarayıcıda tam olarak yapılır; diğerleri hata payıyla tahmin olarak işaretlenir. Fark en çok Çince ve diğer CJK metinlerde belirginleşir: aynı karakterler için o200k, cl100k’ye göre gözle görülür biçimde daha az token kullanır.
Tokenizer’lar arası token’lar
| Tokenizer | Token | Karakter / token | Doğruluk |
|---|---|---|---|
GPT-4o / GPT-5 (o200k) | 0 | — | Tam |
GPT-4 / GPT-3.5 (cl100k) | 0 | — | Tam |
Claude | 0 | — | Tahmin ±%20 |
Gemini | 0 | — | Tahmin ±%20 |
Llama 3 | 0 | — | Tahmin ±%25 |
Kesin sayımlar gpt-tokenizer (o200k_base / cl100k_base) ile yapılır. Tahminler kesin o200k sayımına dayanır ve CJK oranına göre ölçeklenir; bu yüzden kesin değer değil kabaca büyüklük olarak okunmalıdır. Claude ve Gemini için tarayıcıda çalışan herkese açık bir tokenizer yok.
Bu metnin modele göre maliyeti
Maliyet = token ÷ 1M × modelin liste fiyatı. “Girdi olarak” girdi fiyatını, “çıktı olarak” çıktı fiyatını kullanır. OpenAI dışı modeller için token sayıları tahmindir.