טוקנים - איך קלוד באמת קורא טקסט
למה 'שלום עולם' אינו שתי מילים בעיני המודל, ולמה עברית עולה יותר מאנגלית.
מה זה טוקן, בדיוק?
כשאתם שולחים הודעה לקלוד, היא לא מגיעה אליו כמחרוזת תווים ולא כרשימת מילים. היא מגיעה כרצף של טוקנים - יחידות טקסט שהמודל למד לעבוד איתן. הבנה של מהו טוקן היא הבסיס להבנת כמעט כל השאר: למה עברית יקרה יותר, מהו חלון ההקשר, ולמה פרויקט ב-API עולה כפי שהוא עולה.
טוקן הוא לא מילה ולא אות - הוא משהו ביניהם. לרוב: קטע של מילה, מילה שלמה, או סימן פיסוק. המודל לא "קורא" טקסט כפי שאנחנו קוראים; הוא מעבד סדרה של מספרים, שכל אחד מהם מייצג טוקן. הקשר בין הטקסט לרצף המספרים נקרא tokenization, ומי שמבצע אותה הוא ה-tokenizer - תוכנה שרצה לפני שהמודל רואה את ההודעה שלכם.
אנתרופיק משתמשת ב-tokenizer מסוג BPE (Byte Pair Encoding - קידוד זוגות בתים). ב-BPE, ה-tokenizer סורק כמויות אדירות של טקסט ולומד אילו רצפי תווים מופיעים לעתים קרובות יחד, ומקצה להם טוקן אחד. רצפים פחות נפוצים מפורקים ליותר טוקנים. זו בדיוק הסיבה שעברית "עולה" יותר - אבל נגיע לזה.
ככה זה נראה בפועל
הדרך הכי טובה להבין tokenization היא לראות אותה. בדוגמאות הבאות, כל צבע מייצג טוקן אחד. שימו לב לגבולות בין הטוקנים - הם לא תמיד נופלים בין מילים.
אנגלית - מילים נפוצות וקצרות:
5 מילים · 5 טוקנים - כל מילה נפוצה = טוקן אחד
אנגלית - מילה ארוכה ופחות נפוצה:
מילה אחת · 5 טוקנים - מילים נדירות נחתכות לחלקים
עברית - ביטוי פשוט:
2 מילים · ~5 טוקנים - גם מילים יומיומיות נחתכות
עברית - מילה מורפולוגית מורכבת:
"שאכלתן" = that you (f.p.) ate · מילה אחת · ~3 טוקנים
שימו לב לדפוסים: באנגלית, מילים יומיומיות ונפוצות מקבלות טוקן אחד. בעברית, גם ביטויים פשוטים נחתכים ליותר טוקנים - לא משום שעברית "קשה", אלא משום שה-BPE למד מכמות קטנה בהרבה של טקסט עברי.
ועוד דבר לזכור: סימני פיסוק, רווחים ומספרים הם גם הם טוקנים. "3.14" הוא לרוב ["3", ".", "14"] - שלושה טוקנים לשלושה תווים.
עברית - למה היא "יקרה" יותר?
שתי סיבות עיקריות, ועדיף להפריד ביניהן:
סיבה ראשונה: פחות עברית בנתוני האימון של ה-tokenizer
BPE לומד את הטוקנים מטקסטים. ה-tokenizer של אנתרופיק למד מכמויות אדירות של טקסט - רובו המכריע באנגלית. התוצאה: ה-tokenizer "יודע" לדחוס אנגלית ביעילות. רצפים כמו "tion", "ing", "ment" - שמופיעים באלפי מילים אנגליות - מקבלים כל אחד טוקן אחד. עברית, שנמצאת פחות בנתוני האימון, לא זכתה לאותה דחיסה. שורשים ותחיליות נפוצים בעברית נשארים מפורקים לכמה טוקנים.
סיבה שנייה: עברית מורכבת מורפולוגית יותר
עברית היא שפה עתירת-מורפולוגיה - מילה אחת אורזת מידע שבאנגלית דורש שתיים או שלוש מילים. "הפירמידות" (ה + פירמידות) = "the pyramids" - שתי מילים באנגלית, מילה אחת בעברית. "שאכלתן" מורכבת מ-ש + אכל + ת + ן, שמשמעה "that you (plural feminine) ate" - ארבעה רכיבים, מילה עברית אחת.
כלומר: אותה כמות מידע מסתתרת תחת מספר קטן יותר של מילים עבריות - אבל ה-tokenizer עדיין חוצה את המילה הזאת לכמה טוקנים. אנחנו לא מרוויחים הרבה מהדחיסה המורפולוגית.
עברית ואנגלית יכולות לומר את אותו דבר. בעברית תצטרכו בדרך כלל פי שניים עד שלושה יותר טוקנים.
כלל האצבע שמקובל בשדה: טקסט עברי יצרוך פי שניים עד שלושה יותר טוקנים מהמקבילה האנגלית שלו. בפועל, המספר תלוי בסגנון הכתיבה: עברית פורמלית ומורכבת עולה יותר; עברית מדוברת וקצרה - פחות.
מה זה אומר לכם בפועל?
התשובה תלויה מאוד באופן שבו אתם משתמשים בקלוד. שלושה תרחישים עיקריים:
1. אתם משתמשי claude.ai Pro (מנוי חודשי)
אין סיבה לדאוג. המנוי אינו מחויב טוקן-אחר-טוקן - יש מגבלת שימוש יומית כללית, אבל היא אינה מחייבת אתכם "לשמר" טוקנים. שתי השפעות מעשיות שכן קיימות: כשאתם עובדים עם מסמכים ארוכים בעברית, הם תופסים יותר "מקום" בחלון ההקשר; ועיבוד עברית מורכבת עשוי לקחת מעט יותר.
2. אתם מעלים מסמכים ארוכים
200 עמודים בעברית אינם שווים 200 עמודים באנגלית בעיני קלוד. אם אתם מעבדים חוזים, דוחות, ספרות מקצועית, או כל תוכן עברי ארוך - הניחו מקדם של פי-2.5 בצריכת חלון ההקשר ביחס לאנגלית. PDF עברי ארוך? עדיף לחלק לחלקים ולסכם שלב-שלב, ולא לצפות שהכול "ייכנס" בבת אחת.
3. אתם בונים על ה-API
כאן זה מחושב לפרוטה. עלות ה-API של אנתרופיק נמדדת לפי מיליון טוקנים - input ו-output בנפרד. כשמחשבים עלות: לא מספיק להסתכל על כמות המילים. גם אם ה-prompt שלכם "קצר" בעברית - בטוקנים הוא עשוי להיות כפול מאנגלית מקבילה. כשבונים מחשבון עלויות, קחו מקדם ×2.5 לפחות לטקסט עברי.
ניתן לבדוק בדיוק כמה טוקנים צורך כל טקסט דרך Anthropic Tokenizer - כלי מקוון רשמי שמציג את הפירוק ואת ספירת הטוקנים. הכלי בחינם ולא דורש רישום.
חלון ההקשר - הכל נמדד בטוקנים
קלוד 3.7 תומך ב-200,000 טוקנים. זה נשמע כמו מספר גדול - ואכן הוא גדול מאוד לפי כל סטנדרט. אבל כמה זה בעברית?
| שפה | מילים ב-200K טוקנים | עמודים (מוערך) |
|---|---|---|
| אנגלית | ~150,000 מילים | ~500 עמודים |
| עברית | ~70,000-90,000 מילים | ~230-300 עמודים |
ספר עברי ממוצע (כ-80,000 מילים) עשוי לגרום לחלון ההקשר להתמלא - ואז קלוד מתחיל "לשכוח" את ראשיתו. זה לא בגלל שמשהו השתבש; זה בגלל שהחלון פשוט מלא. הפתרון הפרקטי: לחלק טקסטים ארוכים לחלקים, לסכם שלב אחרי שלב, ולא לצפות שקלוד יזכור מה שכתבתם בתחילת שיחה מאוד ארוכה.
עוד דבר חשוב: כש-200,000 הטוקנים הם "חלון", הם כוללים הכל בשיחה - לא רק את השאלה האחרונה שלכם. כל היסטוריית השיחה, קבצי ה-context שהעליתם, הוראות ה-system (אם יש), ותשובות קלוד עצמו - כולם תופסים מקום בחלון. ב-Projects, גם ה"ידע" השמור תופס מקום.
בקיצור: 200,000 טוקנים הם נדיבים מאוד, ורוב השימושים היומיומיים לא מגיעים לגבול. אבל כשתחזרו בעוד כמה חודשים עם השאלה "למה קלוד לא זוכר משהו שסיפרתי לו בתחילת השיחה" - דעו שהתשובה כנראה קשורה לטוקנים.
שאלות נפוצות
- מה זה טוקן בקלוד?
- טוקן הוא יחידת הטקסט הבסיסית שהמודל קורא - בדרך כלל חלק ממילה, מילה קצרה, או סימן. קלוד לא רואה אותיות או מילים שלמות, אלא רצף של טוקנים. החיוב, חלון ההקשר, והמהירות - הכל נמדד בטוקנים.
- כמה מילים יש בטוקן?
- באנגלית טוקן ממוצע הוא בערך 0.75 מילה (כ-4 תווים). כלל אצבע: 100 טוקנים ≈ 75 מילים באנגלית. בעברית היחס גרוע יותר - מילה אחת מתפרקת לעיתים ל-2-4 טוקנים.
- למה עברית עולה יותר טוקנים מאנגלית?
- ה-tokenizer של קלוד למד בעיקר מטקסט אנגלי, ולכן מילים עבריות נשברות לחתיכות קטנות יותר. אותו משפט בעברית עולה בערך פי 2-3 טוקנים מאנגלית - מה שמשפיע על העלות וגם על כמה תוכן נכנס לחלון ההקשר.
- איך מחשבים עלות API לפי טוקנים?
- סופרים טוקני קלט (מה ששלחתם) וטוקני פלט (מה שקלוד החזיר) בנפרד, ומכפילים במחיר למיליון טוקנים של המודל. פלט יקר פי 4-5 מקלט. לטקסט עברי - הכפילו את ההערכה.
- איך רואים כמה טוקנים בקשה צורכת?
- ב-API התשובה מחזירה שדה usage עם input_tokens ו-output_tokens. אנתרופיק מציעה גם מחשבון טוקנים, ויש ספריות tokenizer שמאפשרות לספור מראש לפני השליחה.
ממשיכים להבין את המנוע
שלושת הפריטים האלה מרחיבים ישירות על מה שקראתם כאן