מודל שפה זה לא קסם, לא כישוף, ולא Google בתחפושת. בלי מתמטיקה, בלי מטריצות - רק מודל מנטלי שעובד.
רוב האנשים מניחים, ברגע הראשון, שקלוד הוא Google בתחפושת - בנק תשובות גדול שמחפש את הקרובה ביותר.
זו לא ההסתכלות הנכונה. אם תזכרו דבר אחד מהמצגת הזאת - תזכרו שזה לא חיפוש.
הסקלה היא לא קישוט. מיליארדי פרמטרים זה מה שמאפשר דברים שמודל קטן פשוט לא יכול.
טקסט. רק טקסט. הוא לא יודע מה זה כאב, מה זה אדום, מה זה לרוץ - הוא יודע איך אנשים כותבים על זה.
ייצוג מתמטי, לא מאגר. סטטיסטיקה של שפה - לא ארגז של תשובות שמחפשים בו.
ספרים, ויקיפדיה, אתרים, פורומים, קוד, מאמרים. דמיינו מישהו שקרא כל מה שכתבו בני האדם - ועכשיו צריך לחזות איך כל משפט ימשיך.
זה לא בדיוק מה שקורה - אבל זה דימוי שימושי. המודל אומן לחזות את המילה הבאה, שוב ושוב, מיליארדי פעמים.
זהו. אין יותר מזה. כל מה שנראה לכם מורכב - תרגום, סיכום, קוד, שיחה - הוא בסך הכל ריבוי של אותה פעולה.
המודל מחשב הסתברות לכל מילה אפשרית. לרוב הוא בוחר את הגבוהה ביותר - לפעמים דוגם, כדי לא להישמע צפוי.
זאת הסיבה שאותה שאלה לא תמיד מקבלת אותה תשובה.
"Hello world" - באנגלית - שני טוקנים. נקי, יפה.
"שלום עולם" - בעברית - נשבר לחתיכות קטנות יותר.
עברית עולה יותר מאנגלית, ונכנס פחות לחלון ההקשר.
משמע: למשימות ארוכות במיוחד - לפעמים שווה לתרגם את הקלט לאנגלית, גם אם אתם עובדים בעברית.
מה שאף אחד לא תיכנת לתוכו, אבל הופיע בדרך אגב - בעולם המקצועי נקרא emergent behavior.
קלוד אינו מאגר,
הוא מנגן.
מאגר נשאל ומשיב. מנגן מאלתר - לפי כל מה שלמד, ולפי ההקשר הספציפי שנתתם לו ברגע הזה.
אותה שאלה, פעמיים - לא תמיד אותה תשובה.
- המודל המנטלי החשוב ביותר במצגת
שתי הרשימות לא קבועות - המודלים משתפרים. אבל המודל המנטלי הזה הוא נקודת מוצא טובה.
פירוט מלא של מה שראינו בשקופית 7. איך מתכננים בקשות ארוכות בלי לפוצץ את חלון ההקשר.
אם הבנתם ש"מנגן" - חצי מבינים למה הוא ממציא. עכשיו נראה איך לזהות, ומתי גם למנוע.
קלודLEARN · קץ המודול 01 · חזרה לקטלוג