מודל שפה הוא לא קסם, לא כישוף ולא Google בתחפושת. בלי מתמטיקה, בלי מטריצות - רק מודל מנטלי שעובד.
רוב האנשים מניחים, ברגע הראשון, שקלוד הוא Google בתחפושת - בנק תשובות גדול שמחפש את הקרובה ביותר.
זו לא ההסתכלות הנכונה. אם תזכרו דבר אחד מהמצגת הזאת - תזכרו שזה לא חיפוש.
הסקאלה אינה קישוט. מיליארדי פרמטרים הם מה שמאפשרים דברים שמודל קטן פשוט לא יכול.
טקסט. רק טקסט. הוא לא יודע מה זה כאב, מה זה אדום, מה זה לרוץ - הוא יודע איך אנשים כותבים על זה.
ייצוג מתמטי, לא מאגר. סטטיסטיקה של שפה - לא ארגז של תשובות שמחפשים בו.
ספרים, ויקיפדיה, אתרים, פורומים, קוד, מאמרים. דמיינו מישהו שקרא כל מה שכתבו בני האדם - ועכשיו צריך לחזות איך כל משפט ימשיך.
זה לא בדיוק מה שקורה - אבל זה דימוי שימושי. המודל אומן לחזות את המילה הבאה, שוב ושוב, מיליארדי פעמים.
זהו. אין יותר מזה. כל מה שנראה לכם מורכב - תרגום, סיכום, קוד, שיחה - הוא בסך הכל חזרה על אותה פעולה.
המודל מחשב הסתברות לכל מילה אפשרית. לרוב הוא בוחר את הגבוהה ביותר - לפעמים דוגם, כדי לא להישמע צפוי.
זאת הסיבה שאותה שאלה לא תמיד מקבלת אותה תשובה.
"Hello world" - באנגלית - שני טוקנים. נקי, יפה.
"שלום עולם" - בעברית - נשבר לחתיכות קטנות יותר.
עברית עולה יותר מאנגלית, ונכנסת פחות לחלון ההקשר.
משמע: למשימות ארוכות במיוחד - לפעמים שווה לתרגם את הקלט לאנגלית, גם אם אתם עובדים בעברית.
מה שאף אחד לא תיכנת לתוכו, אבל הופיע בדרך אגב - בעולם המקצועי נקרא emergent behavior.
קלוד אינו מאגר,
הוא מנגן.
כמו נגן ג'אז שמאלתר: הוא לא שולף תשובה שמורה, אלא מנחש את התו הבא - בדיוק כמו שראינו: חיזוי המילה הבאה.
מאגר נשאל ומשיב. מנגן יוצר ברגע - לפי כל מה שלמד, ולפי ההקשר הספציפי שנתתם לו ברגע הזה.
אותה שאלה, פעמיים - לא תמיד אותה תשובה.
- המודל המנטלי החשוב ביותר במצגת
שתי הרשימות לא קבועות - המודלים משתפרים. אבל המודל המנטלי הזה הוא נקודת מוצא טובה.
פירוט מלא של מה שראינו בשקופית 7. איך מתכננים בקשות ארוכות בלי לפוצץ את חלון ההקשר.
המשך טבעי 02אם הבנתם ש"מנגן" - אתם כבר חצי הדרך להבנה למה הוא ממציא. עכשיו נראה איך לזהות, ומתי גם למנוע.
קלודLEARN · סוף מודול 01 · חזרה לקטלוג