טוקן במשפט אחד
טוקן הוא חתיכה של טקסט: לפעמים מילה שלמה, ולפעמים רק חלק ממנה.
ביקשתם מהצ'אט פוסט של 60 מילים, והוא כתב 64? זה לא באג. הצ'אט לא רואה מילים, הוא רואה חתיכות. לחתיכות האלה קוראים טוקנים.
מילה קצרה ונפוצה, כמו "שלום", היא לרוב חתיכה אחת. מילה אחרת נחתכת לשתיים, לשלוש ולפעמים ליותר. ויש שתי סיבות שזה מפיל אותו בספירה.
למה הוא טועה בספירה? שתי סיבות
אחת: הוא חותך מילים לחתיכות
מחמצת, למשל, היא אצלו שלוש חתיכות. ככה חותך אותה המונה של OpenAI, החברה שמאחורי ChatGPT. אז הוא מודד בחתיכות, ואתם ביקשתם מילים. כמו לבקש מטרים ממי שסופר צעדים: הוא יגיע קרוב, אבל לא בדיוק.
ואין יחס קבוע בין השניים. הפוסט מהבדיקה שלנו, 64 מילים, יצא 132 חתיכות במונה של OpenAI. בערך שתיים למילה, אבל כל מילה נחתכת אחרת.
שתיים: הוא כותב בלי מונה ביד
הצ'אט כותב חתיכה אחרי חתיכה, מההתחלה ועד הסוף. תוך כדי כתיבה, הוא לא סופר כמה מילים כבר יצאו. הוא מעריך, לא סופר.
ובלי כלי שסופר בשבילו, גם כשתשאלו אותו כמה יצא, הוא ינחש. בבדיקה שלנו הוא ענה 65, ובפוסט היו 64.
התיקון: שיספור עם קוד
אותו מוח. רק תוסיפו בקשה אחת. זה עובד בצ'אטים שיודעים להריץ קוד, כמו ChatGPT. כשהטקסט מוכן, כתבו לו:
תספור את המילים עם קוד, ותתקן עד שיהיו בדיוק 60.
את ה-60 מחליפים במספר שאתם צריכים.
קוד לא מעריך. הוא עובר על הטקסט וסופר מילה אחרי מילה. הצ'אט כותב את הקוד, מריץ אותו, ומתקן לפי המספר האמיתי. ועוד שני הרגלים שעוזרים:
- תגידו מה נחשב מילה. אימוג'י? מספר כמו 60? כתבו לו, כדי שהוא יספור כמוכם.
- אין לצ'אט כלי קוד? תספרו בעצמכם. ב-Google Docs יש ספירת מילים בתפריט "כלים", וב-Word היא מופיעה בפס שבתחתית המסך. ואז תגידו לו כמה לקצר.
בדקתי בעברית
ב-30.10.2026 ביקשתי מ-ChatGPT, בצ'אט זמני: "כתוב לי פוסט לפייסבוק של 60 מילים בדיוק, למאפייה שמוכרת לחם מחמצת חדש." הוא כתב פוסט יפה, של 64 מילים (בלי לספור אימוג'ים). ואז שאלתי: "כמה מילים יש בפוסט שכתבת?" הוא ענה 65. שוב לא נכון.
הנה הפוסט שהוא כתב, מילה במילה, בלי האימוג'ים. רוצים לספור?
יש ריח חדש של אושר במאפייה שלנו!
הכירו את לחם המחמצת החדש שלנו: קראסט פריך וזהוב מבחוץ, מרקם אוורירי ורך מבפנים, וטעם עשיר שפשוט אי אפשר לעמוד בפניו.
מושלם לארוחת בוקר מפנקת, לכריך מושקע או פשוט עם קצת חמאה טובה.
כי לפעמים הדברים הכי פשוטים הם הכי טעימים.
בואו לטעום ולהתאהב מהביס הראשון!
מחכים לכם במאפייה עם חיוך גדול וריח משגע של לחם טרי!
ואז כתבתי לו את השורה מהתיקון: "תספור את המילים עם קוד, ותתקן עד שיהיו בדיוק 60." הוא הריץ קוד Python, כתב שבפוסט המקורי היו 64 מילים, וקיצר אותו. ספרתי שוב בעצמי: 60 בדיוק.
אותו מוח ואותו פוסט. ההבדל: הפעם הוא ספר עם כלי, ולא העריך.
נסו בעצמכם
פתחו את המונה של OpenAI (האתר באנגלית), ודאו שמסומן GPT-5.x, והקלידו את שם העסק שלכם. תראו לכמה חתיכות הוא נחתך. אחר כך נסו משפט אחד בעברית ובאנגלית, והשוו.
למה זה חשוב לעסק
טוקנים הם לא רק עניין של ספירת מילים. חלון הקשר, השולחן מהמושג הקודם, נמדד בטוקנים, לא במילים. ומי שמחבר את המודלים של OpenAI ישירות למערכת של העסק (API), למשל לבוט שעונה ללקוחות, משלם לפי טוקנים. בצ'אט עצמו, בחינם או במנוי, לא משלמים לפי טוקן.
שאלות ותשובות
נכון שעברית עולה פי 3 מאנגלית?
בבדיקה שלנו, כבר לא. במונה הישן של OpenAI, של GPT-4 מ-2023, משפט בעברית לקח פי 2.5 עד 3.3 חתיכות מאותו משפט באנגלית. במונה החדש, של GPT-4o ואילך, אותם משפטים בעברית לקחו עד שליש יותר חתיכות, ובמשפט אחד אפילו פחות. בדקנו ארבעה זוגות משפטים, נכון ל-30.10.2026, והיחס משתנה לפי הטקסט. מונים של חברות אחרות לא בדקנו.
זה קורה גם ב-Claude וב-Gemini?
גם הם עובדים עם טוקנים, וכל חברה חותכת את הטקסט אחרת. את הבדיקה ואת המספרים בעמוד הזה עשינו רק ב-ChatGPT ובמונה של OpenAI. אם הצ'אט שלכם יודע להריץ קוד, אותו תיקון שווה ניסיון.
למה לא פשוט לבקש ממנו לספור שוב?
כי בלי כלי, גם הספירה השנייה היא הערכה. בבדיקה שלנו הוא ענה 65 על פוסט של 64. קוד סופר לפי כלל קבוע, למשל כל מה שבין שני רווחים הוא מילה, ולא מעריך.
ומה עם מגבלה של תווים, כמו בכותרת למודעה?
שם זה חשוב עוד יותר, כי אין גמישות: כותרת ארוכה מדי פשוט לא נכנסת. בקשו באותה דרך: "תספור את התווים עם קוד, ותתקן". את זה לא בדקנו בעמוד הזה, אז תבדקו את התוצאה לפני שמפרסמים.
איך מדדנו: עם tiktoken, הכלי של OpenAI, ב-30.10.2026. המונה החדש הוא o200k_base, של GPT-4o ואילך. הישן הוא cl100k_base, של GPT-4.
המקורות: המונה של OpenAI · הכלי tiktoken, שבו מדדנו · המחירון של OpenAI ל-API