מהפכת המודלים הריבוניים: למה Post-Training מנצח את הפרומפטים

⁨הנדסת פרומפטים⁩ היא לא אסטרטגיה, היא פלסטר.

במשך שנתיים ניסינו לשכנע מודלים גנריים כמו GPT-4 להתנהג כמו עורכי דין או אנליסטים פיננסיים. זה עבד עד גבול מסוים, אבל אז נתקענו. המודלים התחילו להזות, איבדו את ההקשר במשימות ארוכות, או פשוט הפכו ליקרים מדי לתפעול בקנה מידה רחב.

השינוי האמיתי שקורה עכשיו הוא המעבר למודלים ריבוניים (Sovereign Models). אלו מודלים בקוד פתוח שעוברים תהליך של Post-training (אימון משלים) על דאטה ספציפי של התעשייה. במקום לבקש מהמודל בנימוס להיות מדויק, אנחנו מטמיעים את הדיוק בתוך ה-DNA שלו.

נקודות מרכזיות

• תקרת הזכוכית של הפרומפט: הנדסת פרומפטים מוגבלת על ידי היכולות המובנות של ⁨מודל הבסיס⁩ ונוטה לקרוס במשימות מורכבות.
• מודלים ריבוניים: שימוש בבסיס קוד פתוח מאפשר בעלות מלאה על האינטליגנציה הארגונית והפחתת תלות בספקים חיצוניים.
• יעילות כלכלית: אימון משלים מאפשר למודל לבצע משימות ב⁨פחות טוקנים⁩ ובדיוק גבוה יותר, מה שמוזיל עלויות תפעול.
• משימות ארוכות טווח: מודלים ייעודיים מצטיינים בניהול הקשר (Context) לאורך זמן, מה שקריטי לבדיקות נאותה (Due Diligence) וניתוח חוזים.

למה הנדסת פרומפטים נכשלת במשימות מורכבות

כשעבדתי עם צוותים ב-Meta, ראיתי איך ⁨מערכות מבוססות פרומפטים⁩ קורסות ברגע שהן פוגשות את המציאות. פרומפט הוא בסך הכל הנחיה חיצונית. הוא לא משנה את האופן שבו המודל חושב, אלא רק מנסה לנווט אותו.

בשירותים מקצועיים כמו עריכת דין או פיננסים, אנחנו צריכים מודלים שמבינים את הניואנסים של התחום. מודל גנרי תמיד ינסה להיות "נחמד" ופטפטן. מודל שעבר Post-training יודע שמה שחשוב זה הדיוק בציטוט והיכולת לעקוב אחרי לוגיקה משפטית סבוכה לאורך 50 עמודים.

הבעיה המרכזית היא "ריקבון הקשר" (Context Rot). במשימות ארוכות, מודלים גנריים נוטים לשכוח את ההנחיות המקוריות שניתנו להם בתחילת הפרומפט.

המקרה של Harvey Tenet: הכפלת אחוזי ההצלחה

דוגמה מצוינת לשינוי הזה היא המודל החדש Harvey Tenet. חברת Harvey, שבונה פתרונות AI למשרדי עורכי דין, הבינה שהיא לא יכולה להסתמך רק על API של חברות ענק.

הם לקחו מודל בסיס (Kimi K3) והעבירו אותו תהליך של Post-training על דאטה משפטי מומחה. התוצאה? המודל הצליח להשלים כמעט פי שניים יותר משימות מורכבות בהשוואה למודל הבסיס, כפי שפורסם ב-דיווח הטכני של Harvey (Harvey).

זה לא קרה בגלל פרומפט טוב יותר. זה קרה בגלל שהמודל אומן בתוך סביבה שמדמה עבודה משפטית אמיתית, עם משוב ממומחים אנושיים.

השוואה: מודל גנרי מול מודל ריבוני

הארכיטקטורה של העתיד: פחות תלות, יותר אינטליגנציה

המעבר למודלים ריבוניים הוא לא רק עניין טכני, הוא עניין אסטרטגי. עסקים בישראל, במיוחד SMBs בתחומי השירותים, צריכים לשאול את עצמם: האם אנחנו בונים את הבית שלנו על קרקע מושכרת?

שימוש במודלים בקוד פתוח מאפשר לכם להריץ את ה-AI בשרתים שלכם, לשמור על פרטיות המידע של הלקוחות, ולשפר את המודל ככל שהעסק גדל. זה ההבדל בין להשתמש בכלי לבין לבנות נכס דיגיטלי.

ב-Aniccai, אנחנו רואים שהערך האמיתי לא מגיע מהכלי הכי נוצץ, אלא מהפתרון הכי פרגמטי. לפעמים זה אומר להשקיע קצת יותר באימון המודל בהתחלה כדי לקבל שקט נפשי ויציבות תפעולית בהמשך.

מקורות

• Update on Harvey's Post-Training Effort (web)
• Harvey reports near-doubling of LAB task completion with its... | Pivot News (web)
• Harvey Announces Tenet, Its First in-House AI Model for Legal Work - Business Insider (web)
• Harvey Introduces Tenet, Its First Post-Trained AI Model for ... (web)

שאלות נפוצות

מה זה בעצם Post-training?

זהו תהליך שבו לוקחים מודל שפה שכבר אומן על כל האינטרנט ומאמנים אותו ספציפית על סט נתונים ממוקד (כמו פסקי דין או דוחות כספיים) כדי לשפר את הביצועים שלו בתחום מסוים.

האם זה יקר יותר מהנדסת פרומפטים?

בטווח הקצר, כן, כי נדרש מאמץ הנדסי ודאטה איכותי. בטווח הארוך, זה זול יותר כי המודל הופך ליעיל יותר וצורך פחות משאבים לכל משימה.

האם מודלים בקוד פתוח באמת טובים כמו המודלים של OpenAI?

במשימות כלליות, אולי לא תמיד. אבל במשימות ספציפיות שעברו אופטימיזציה, הם יכולים לעקוף את המודלים הגנריים הגדולים ביותר, כפי שראינו במקרה של Tenet.

דברים שחשוב לזכור

• פרומפטים הם פתרון זמני; אינטליגנציה מוטמעת היא נכס קבוע.
• העתיד של AI בשירותים מקצועיים הוא ספציפי, לא גנרי.
• בעלות על המודל היא הדרך היחידה למנוע תלות בספקים (Vendor Lock-in).

האם האוטומציה שלכם נשענת על פרומפטים מורכבים מדי שעלולים להישבר מחר בבוקר?