הסוכן הוא רק פרוסס: למה אוטונומיה מלאה היא חוב טכנולוגי

כדי להפעיל סוכני AI בפרודקשן בלי קריסות, הפסיקו להתייחס למודל כאל שותף לקבלת החלטות וכלאו אותו בתוך Harness דטרמיניסטי קשיח.

סוכנים אוטונומיים אינם נכשלים בגלל מחסור באינטליגנציה של המודל. הם נכשלים כי צוותי פיתוח מעניקים למנוע הסתברותי שליטה בלתי מוגבלת על מכונות המצבים של הארגון.

כשבנינו מערכות ב-Aniccai, למדנו להתייחס למודל השפה כאל פרוסס בודד וחסר הרשאות בתוך מערכת ההפעלה. ⁨הרתמה (Harness)⁩, שהיא תוכנה דטרמיניסטית מסורתית, אחראית על זיכרון, קריאות מערכת ומנגנוני עצירה שלא סומכים על שיקול דעתו של המודל.

נקודות מפתח

• לולאות אוטונומיות פתוחות מייצרות שונות ביצוע, שחיקת קונטקסט ועלויות טוקנים בלתי נשלטות במפגש עם מערכות אמיתיות.
• רתמת סוכנים (Agentic Harness) מתפקדת כקרנל של מערכת הפעלה שבה מודל השפה הוא רק יחידת עיבוד.
• תכנון בטקסט חופשי הוא מקור השונות העיקרי; סכמות קשיחות מאפשרות להגיע לשחזור ביצועים מלא.
• שילוב של מכונות מצבים סופיות (FSM) מעניק יציבות על ידי הפרדה בין מרחב ההחלטה הפנימי לבין ניתוב תהליכים קשיח בקוד.

למה לולאות אוטונומיות פתוחות קורסות מול דאטה-בייס אמיתי

האקוסיסטם התאהב ברעיון של לולאות חשיבה פתוחות כמו ReAct, שבהן המודל חושב, בוחר כלי, בוחן את התוצאה וחוזר על הפעולה שוב ושוב עד להשלמת המשימה. בסביבת פיתוח מבודדת זה נראה כמו קסם.

אבל ברגע שהלולאה הזו פוגשת סביבת ייצור עם מסדי נתונים, קריאות API חיצוניות ושגיאות רשת, המבנה הזה מתפרק. לולאות פתוחות סובלות משלושה כשלי ליבה:

1. לולאות אינסופיות: כאשר כלי מחזיר שגיאת ולידציה לא צפויה, המודל נוטה להתנדנד בין שני כלים בניסיון לתקן את המצב. הוא שורף תקציבי טוקנים עד לפקיעת מגבלת ה-Timeout של השרת.
2. שחיקת קונטקסט (Context Rot): היסטוריית קריאות ארוכה ממלאת את חלון ההקשר בפלטי JSON מנופחים. המודל שוכח את מטרת היעד המקורית ומייצר פרמטרים שגויים לכלי הבא.
3. פעולות בלתי הפיכות: סוכן פתוח יכול לבצע קריאת POST חיצונית או מחיקת רשומה על בסיס הנחת ביניים שגויה, מבלי שניתן יהיה לבטל אותה בדיעבד.

כפי שעולה מתוך הניתוח של Sodiac AI Innovations על תהליכי עבודה סוכניים, מערכות ארגוניות שמנהלות כספים וטרנזקציות אינן יכולות להרשות לעצמן אוטונומיה הסתברותית ללא גבולות. במבחני השוואה לאורך 10,000 הרצות, ⁨לולאות סוכניות פתוחות⁩ השיגו שיעור הצלחה של 86.2% בלבד, בעוד שמערכות בעלות תזמור מבוסס מכונות מצבים קשיחות הגיעו ל-99.8% הצלחה.

אוטונומיה נטולת גבולות היא חוב טכנולוגי שמשלמים עליו באובדן יציבות ובפגיעה בלקוחות.

האנטומיה של Harness: המודל הוא רק תהליך

סוכן יציב אינו ישות עצמאית שמשוטטת בשרתים שלכם. הוא מורכב מרתמה (Agentic Harness), שהיא שכבת תוכנה דטרמיניסטית המגשרת בין המודל ההסתברותי לעולם האמיתי.

על פי מדריך הארכיטקטורה לרתמת סוכנים בבלוג של martinuke0, מודל השפה הוא בסך הכל פרוסס ב-User Space, בעוד שהרתמה מתפקדת כקרנל של מערכת ההפעלה. הרתמה מנהלת את קריאות המערכת, מפקחת על ההרשאות ואוכפת את מגבלות המשאבים.

רתמה מודרנית מורכבת מחמישה רכיבים הנדסיים:

• מתזמן התהליכים: מנהל את שלבי הביצוע ומפעיל את המודל דרך חוזים מוגדרים ולא בלולאת צ'אט פתוחה.
• נתב הכלים (Tool Router): אוכף סכמות JSON מחמירות על ארגומנטים של כלים, מוודא הרשאות ספציפיות ומבודד את ההרצה בסביבת Sandbox.
• ⁨שכבת זיכרון מדורגת⁩: מפרידה בין זיכרון העבודה המיידי לבין היסטוריית ריצה ולוגים אפיזודיים, כדי למנוע הצפה של חלון ההקשר.
• מנגנוני הגנה ובקרת עלויות: מציבים שערי עצירה קשיחים לפי מספר צעדים או עלות דולרית, ומונעים פעולות מסוכנות ללא ⁨אישור אנושי⁩.
• ⁨תשתית תצפית (Observability)⁩: מתעדת את מסלול הריצה המלא, פלטי הכלים וזמני התגובה לצורך איתור תקלות ומניעת רגרסיה.

במבנה כזה, כשל במודל אינו מוביל לקריסה של המערכת. הוא מפעיל ⁨Circuit Breaker⁩ ומטופל בצורה אלגנטית בקוד המסורתי.

צוואר הבקבוק הנסתר: תכנון בטקסט חופשי

צוותים רבים סבורים שהגדרת סכמות ואימות שדות לכלים פותרים את בעיית השונות. הם כותבים ולידציה מדויקת לכל פונקציה, אך המערכת ממשיכה לייצר תוצאות לא עקביות בין ריצה לריצה.

הסיבה לכך נחשפה במחקר אמפירי. בתוך המחקר על הנדסת Harness מאת Saransh Dhage ב-arXiv, נבחנה השפעתן של מגבלות ביצוע דטרמיניסטיות על מודלים של שפה. החוקרים גילו שגם כאשר סדר הכלים והפלטים הסופיים נאכפים בקפידה, שלב התכנון בטקסט חופשי (Free-text Planning) נותר מקור השונות העיקרי שמחריב את השחזוריות.

כאשר מודל מנסח תוכנית עבודה במלל חופשי, ניואנסים קטנים בניסוח מובילים לשינויים דרמטיים בהמשך הריצה. ברגע שהחוקרים חייבו תכנון מובנה (Structured Planning), שבו תוכנית הפעולה כולה אומתה מול סכמה קשיחה לפני הפעלת הכלי הראשון, מדד הדטרמיניזם זינק ל-1.000 לאורך 100 הרצות רצופות, ושיעור ההצלחה הגיע ל-100% במרבית התרחישים.

⁨הגבלות דטרמיניסטיות⁩ אינן חונקות את היכולת של המודל. הן מנקות את הרעש שמונע ממנו לפעול כמערכת הנדסית אמינה.

השוואת ארכיטקטורות: תהליכים דטרמיניסטיים מול לולאות הסתברותיות

הבחירה בארכיטקטורת הסוכנים הנכונה דורשת הבנה של נקודות התורפה בכל גישה. עלינו לדעת היכן לשמור על שליטה מלאה של הקוד והיכן לאפשר גמישות מבוקרת.

כפי שמסבירים בניתוח של Daily AI World לגבי תהליכי עבודה דטרמיניסטיים לעומת לולאות סוכנים, הקונצנזוס בפיתוח מערכות הוא שילוב היברידי. מעברי המאקרו מנוהלים על ידי קוד דטרמיניסטי קשיח, וההסתברות מוגבלת לצומת הפעולה הספציפי בלבד.

ארכיטקטורת פרודקשן מעשית: מכונות מצבים ואידמפוטנטיות

כדי להקים מערכת סוכנים יציבה בארגון, מומלץ ליישם שלושה עקרונות הנדסיים מעשיים.

1. שימוש במכונות מצבים סופיות (FSM)

אל תתנו למודל גישה לקטלוג של שלושים כלים בו-זמנית. חלקו את התהליך למצבים מובחנים.

בתהליך קליטת לקוח, הגדירו מצבים קשיחים: איסוף פרטים, אימות זהות, פתיחת חשבון ו-הסלמה לנציג. המודל יכול לפעול בתוך מצב איסוף פרטים עד למיצוי המידע, אך הוא אינו יכול לדלג עצמאית למצב פתיחת חשבון בלי לעבור בדיקה דטרמיניסטית שמאשרת כי כל שדות החובה קיימים.

2. בידוד הקונטקסט לפי צומת

הימנעו מהעברת כל היסטוריית השיחה מצומת לצומת. בעת הפעלת צומת חדש, הזריקו למודל רק את הנתונים הנחוצים למשימתו הנקודתית. בידוד זה חוסך עשרות אחוזים בעלויות טוקנים ומונע הזיות הנגרמות מקריאות ישנות של כלים קודמים.

3. אידמפוטנטיות ושערי עצירה פיננסיים

קריאות לכלי צד שלישי חייבות להיות אידמפוטנטיות (Idempotent), כלומר פעולות שהרצתן פעם אחת מניבה אותה תוצאה כמו הרצתן חמש פעמים ברציפות. אם קריאת רשת מתעכבת, המערכת יכולה לשלוח אותה שוב מבלי לחייב לקוח פעמיים.

בנוסף, הטמיעו שערי עצירה חיצוניים. אצלנו ב-Aniccai, פעולות בעלות השפעה הרסנית או כאלו שחוצות רף תקציבי של כמה דולרים בודדים נעצרות מיידית. המצב נשמר במסד הנתונים וממתין לאישור אנושי מפורש.

בניית מערכות AI פרגמטיות אינה עוסקת במרדף אחרי קסמים אוטונומיים, אלא במשמעת הנדסית שמציבה גבולות ברורים לכל מודל.

מקורות

• Deterministic Workflows vs Probabilistic Agentic Loops — Daily AI World (Daily AI World)
• Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints (arXiv)
• The Architecture of an Agentic Harness: How Production AI Agents Actually Work | martinuke0's Blog (martinuke0's Blog)
• Agentic Workflows in Production: LangGraph vs Custom Finite-State Orchestrators — Sodiac AI Innovations (Sodiac AI Innovations)
• Building an Advanced Agentic Harness | Data For Science (Data For Science)

שאלות נפוצות

⁨מדוע סוכני AI אוטונומיים נכשלים בסביבת פרודקשן⁩?

סוכנים נכשלים מכיוון שלולאות חשיבה פתוחות גורמות ללולאות אינסופיות, שחיקת הקונטקסט ושגיאות הנובעות מאימות לקוי של פלטים. ללא רתמה דטרמיניסטית, תנודות קלות במודל מייצרות תקלות מערכתיות.

מהי רתמת סוכנים (Agentic Harness) בהנדסת תוכנה?

רתמת סוכנים היא שכבת תוכנה דטרמיניסטית הפועלת בין מודל השפה לבין המערכות החיצוניות בארגון. היא משמשת כקרנל המנהל הרשאות, מנתב קריאות לכלים, מגביל משאבים ואוכף סכמות נתונים.

כיצד תכנון מובנה מסייע ליציבות הביצוע?

תכנון מובנה מחייב את המודל לייצר תוכנית עבודה מאומתת בסכמה קשיחה לפני הפעלת כלי כלשהו. אימות התוכנית מראש מונע את השונות המצטברת הנובעת מחשיבה מילולית בטקסט חופשי.

מתי כדאי להשתמש בתהליך דטרמיניסטי במקום סוכן אוטונומי?

מומלץ להשתמש בתהליכים דטרמיניסטיים עבור משימות קבועות וטרנזקציות רגישות הדורשות עמידה בתקנים, כמו סליקת תשלומים ועיבוד נתונים מובנים. לולאות סוכניות מתאימות למשימות מחקר וניתוח טקסטים חופשיים.

דברים שחשוב לזכור

• מודל השפה הוא פרוסס ללא הרשאות בתוך מערכת הפעלה דטרמיניסטית שמנהלת אותו.
• תכנון בטקסט חופשי יוצר שונות ביצוע מסוכנת; אכפו סכמות קשיחות על תוכניות הפעולה של הסוכן.
• כלאו את האוטונומיה של המודל בתוך מכונות מצבים סופיות כדי למנוע מעברים לא חוקיים ולולאות אינסופיות.

איזה תהליך בארגון שלכם נשען כרגע על שיקול דעת של מודל שפה במקום על גבולות קוד ברורים?