पाठ चिपकाकर देखें कि प्रत्येक टोकनाइज़र में उसकी टोकन संख्या और लागत कितनी है। OpenAI शृंखला की गणना ब्राउज़र में ठीक-ठीक होती है; शेष को त्रुटि सीमा के साथ अनुमान बताया जाता है। अंतर चीनी और अन्य CJK पाठ में सबसे स्पष्ट है, जहाँ उन्हीं अक्षरों के लिए o200k को cl100k से उल्लेखनीय रूप से कम टोकन चाहिए।
| टोकनाइज़र | टोकन | अक्षर / टोकन | सटीकता |
|---|---|---|---|
GPT-4o / GPT-5 (o200k) | 0 | — | सटीक |
GPT-4 / GPT-3.5 (cl100k) | 0 | — | सटीक |
Claude | 0 | — | अनुमान ±20% |
Gemini | 0 | — | अनुमान ±20% |
Llama 3 | 0 | — | अनुमान ±25% |
सटीक गणना gpt-tokenizer (o200k_base / cl100k_base) से होती है। अनुमान सटीक o200k गणना पर आधारित हैं और CJK अनुपात के हिसाब से मापे जाते हैं, इसलिए इन्हें सटीक मान नहीं, मोटे अंदाज़ के रूप में पढ़ें। Claude और Gemini का क्लाइंट-साइड सार्वजनिक टोकनाइज़र नहीं है।
लागत = टोकन ÷ 1M × मॉडल का सूची मूल्य। “इनपुट के रूप में” इनपुट मूल्य का उपयोग करता है, “आउटपुट के रूप में” आउटपुट मूल्य का। गैर-OpenAI मॉडलों के लिए टोकन गिनती अनुमानित है।