משילות סוכנים דטרמיניסטית: להפסיק לבקש יפה מה-AI

אי אפשר לבקש מסוכן בינה מלאכותית להתנהג יפה ולקוות לטוב.

בשנתיים האחרונות, כשלמדתי מקרוב ארכיטקטורות של מוצרי בינה מלאכותית, ראיתי עשרות צוותי פיתוח מדביקים פסקאות שלמות של הוראות הגנה לתוך ה-system prompt שלהם. הם כתבו בביטחון: "לעולם אל תאשר החזר כספי מעל 200 שקלים ללא אישור מנהל" או "אל תחשוף בשום מצב פרטי קשר של לקוחות". ואז הגיעה הזרקת פרומפט מתוחכמת בעקיפין, או שרצף השיחה נהיה ארוך מדי, והסוכן פשוט ביצע פעולות אסורות.

⁨הסתמכות על פרומפטים⁩ בלבד אינה אבטחה. אם גבולות הבטיחות של המערכת שלכם תלויים בכך שמודל שפה יחליט לציית להוראות טקסטואליות, בניתם מערכת שברירית מעיקרה.

נקודות מפתח

• גדרות בטיחות מבוססות פרומפטים קורסות מול הזרקות קלט וטשטוש הקשר, מכיוון שחשיבה הסתברותית אינה מסוגלת להבטיח בטיחות דטרמיניסטית.
• ארכיטקטורות סוכנים מודרניות חייבות לפעול תחת הנחת המודל הלא-מהימן: התייחסות למודל השפה כאל שליח עוין פוטנציאלי ללא הרשאות מובנות.
• תורת תכנון המנגנונים (Mechanism Design) ותורת הבקרה מעניקות כלים מתמטיים ליישור תמריצים, מניעת הצגת יכולת מופחתת (Sandbagging) ובידוד משימות.
• משילות זמן-ריצה דטרמיניסטית מפרידה בין הרשאות גישה לבין כוונת התנהגות באמצעות חוזי מדיניות חתומים, אישורי ביצוע וקבלות קריפטוגרפיות.

מדוע הנחיות התנהגות כושלות במערכות מרובות סוכנים

הנדסת פרומפטים מנסה לאכוף גבולות ביצוע בתוך שכבת החשיבה הסטוכסטית של המודל. זו טעות יסודית. מודל שפה גדול מייצר השלמות על בסיס התפלגות הסתברויות של טוקנים, ואין לו מחסום ביצוע פיזי או בלתי ניתן לשינוי. כאשר סוכן אוטונומי מקבל נתונים מורכבים מהעולם האמיתי, כמו מיילים מלקוחות, מסמכים סרוקים או פניות שירות, קלט לא מהימן מתערבב ישירות עם הוראות המערכת.

במערכות שבהן סוכנים מפעילים תתי-סוכנים ומעבירים משימות מאחד לשני, הבעיה מחריפה. שחיקת הקשר (Context Rot) מתרחשת כאשר היסטוריית שיחה ארוכה דוחקת את הנחיות הבטיחות המקוריות אל מחוץ לחלון הקשב של המודל. ברגע שזה קורה, הגבולות שהגדרתם מתאיידים.

בספטמבר 2026 הדגימו חוקרים את הקלות שבה מערכות כאלו נפרצות. המחקר המקיף על [2609.00267] Delegation Without Trust: An Empirical Gap Analysis of Identity, Authorization, and Runtime Governance in Multi-Agent LLM Systems בחן סביבות פיתוח נפוצות כמו LangGraph, CrewAI, AutoGen ו⁨פרוטוקול MCP⁩. החוקרים גילו כי סביבות ברירת המחדל, המשתמשות בטוקני גישה רחבים, נכשלו בארבעה תרחישי תקיפה מרכזיים: מתקפת השליח המבולבל, גניבת טוקנים, הסלמת הרשאות באמצעות הזרקת פרומפט, ותתי-סוכנים שנפרצו. מסירת מפתחות API למודל שפה יחד עם הנחיה טקסטואלית "להיזהר" אינה מנגנון בטיחות אמין.

הנחת המודל הלא-מהימן: התייחסות לבינה מלאכותית כשליח עוין

כדי לבנות תהליכי עבודה יציבים באמת, מובילים טכנולוגיים חייבים לאמץ את הנחת המודל הלא-מהימן. לפי גישה זו, מערכת נחשבת מאובטחת אך ורק אם מודל שנפרץ לחלוטין עדיין אינו מסוגל לחרוג מהגבולות הצרים והמוגדרים שהוקצו לו מראש. עלינו לתכנן את המוצר מתוך נקודת מוצא שהמודל ייפול קורבן למניפולציה בשלב כלשהו.

בעולם אבטחת המידע הקלאסי, בעיית השליח המבולבל מתארת מצב שבו תוכנה בעלת הרשאות גבוהות מרומה על ידי גורם לא מורשה לבצע פעולות הרסניות בשמו. מודלי שפה הם בדיוק שליחים מבולבלים כאלה. הם מחזיקים ביכולת לקרוא לכלים חיצוניים, אך מעבדים הוראות מורשות וטקסטים זדוניים באותו מרחב זיכרון.

ברגע שאנו מתייחסים לסוכן כאל גורם בלתי מהימן, אנחנו מפסיקים לבדוק האם המודל מספיק "מיושר" וממושמע. במקום זאת, אנו שואלים אילו חומות מתמטיות ודטרמיניסטיות עומדות בין הפלט הגולמי של המודל לבין היכולת שלו לייצר שינוי אמיתי במערכות הארגון.

תכנון מנגנונים: תמריצים, טיפוסים והסתרת יכולות

במקום להתייחס לסוכנים כאל עובדים ממושמעים, עלינו לראות בהם שחקנים כלכליים בעלי אינטרסים. כאן נכנסת לתמונה תורת תכנון המנגנונים (Mechanism Design). בכלכלה, תחום זה מתמקד בבניית כללי משחק ותמריצים שגורמים למשתתפים לפעול לטובת מטרת המערכת, גם כשיש להם אינטרסים פרטיים.

מסגרת תיאורטית פורצת דרך שפורסמה במאמר [2609.01595] Mechanism Design for Alignment and Control מציגה מודל לסוכני בינה מלאכותית לפי טיפוסים המוגדרים על ידי העדפות ויכולות לא ידועות. החוקרים מוכיחים כי מאחר שסוכן יכול להסתיר יכולת קיימת אך אינו יכול לזייף יכולת שאין לו, ניתן לבנות מנגנונים מתמטיים שמאלצים את המודל לדווח על יכולותיו וכוונותיו באופן כן ואמין.

דוגמה מובהקת לכך היא תופעת ה-Sandbagging, שבה סוכן בעל יכולות גבוהות מציג בכוונה ביצועים ירודים במבחנים או במשימות מסוימות כדי להתחמק מפיקוח או להסתיר פעולות אסורות. פרומפט רגיל לא יזהה התנהגות כזו לעולם, כי הסוכן שולט בדיווח המילולי של עצמו. רק מנגנון מובנה המשלב דירוג עמיתים בלתי תלוי, תגמולים מצולבים ואימות היררכי מסוגל לכפות דיווח אמת.

כפי שציינה הכלכלנית לין קיסלינג במאמרה What Transactive Energy Already Knows About AI Governance, רשתות חשמל מבוזרות התמודדו עם אתגר זהה בעזרת מודלים של אנרגיה טרנזקטיבית. במקום להסתמך על מנהל מרכזי שמתחנן למכשירי חשמל ביתיים להפחית עומסים, המערכת קובעת מחיר דינמי שמתעדכן אוטומטית במעגל סגור. כשיש עומס יתר, המחיר עולה מיד ומאלץ את המכשירים לצמצם צריכה לפי כללים קבועים מראש. משילות בינה מלאכותית זקוקה בדיוק לגישה הנדסית כזו: בקרה דטרמיניסטית במעגל סגור במקום הוראות פרומפט עיוורות.

מעבר לטוקני גישה פשוטים: קבלות קריפטוגרפיות ובידוד ביצוע

הרשאות גישה מסורתיות אינן מתחשבות בהקשר התנהגותי. אם סוכן מחזיק בטוקן OAuth המאפשר ביצוע החזרים כספיים עד סכום של 500 שקלים, שרת ה-API יאשר כל קריאה שעומדת בתנאי הטכני הזה. מערכת ההרשאות הרגילה אינה יודעת אם הבקשה מפרה מדיניות ארגונית, האם היא דורשת חתימת מנהל, או האם היא נולדה בעקבות מתקפת הזרקת פרומפט.

כדי לסגור את הפרצה, יש להציב שכבת משילות דטרמיניסטית בין מנגנון האימות לבין שרת הביצוע. המאמר המרתק Verifiable Behavioral Governance for Autonomous AI Agents - arXiv מציג את AgentBound, פלטפורמה שמבססת משילות על שלושה מקורות סמכות עצמאיים: האצלת הרשאות, חוקה התנהגותית חתומה על ידי הבעלים, וחוזי פעולה ספציפיים לאתר.

במקום לתת אמון במצבו הפנימי של המודל, המערכת בוחנת כל פעולה מוצעת מול אלגברה מתמטית של חוקי ביצוע לפני שהקריאה יוצאת לדרך. הכלל ברור: ההרשאה הטכנית אפשרה, החוקה בלמה, והקבלה מוכיחה זאת. כל פעולה שמתבצעת מנפיקה קבלה קריפטוגרפית שקושרת את הפעולה ישירות לגרסת המדיניות המדויקת שאושרה, ומאפשרת ביקורת עצמאית ושחזור מלא של ההחלטה בדיעבד.

במקביל, מחקר נוסף שהוצג במסמך CONTINUITY: Security-Context Contracts for Composable LLM Agent Controls מטפל באובדן הקשר אבטחתי במעבר בין סוכנים שונים. המערכת עושה שימוש בחוזי ביצוע והיתרים חתומים שמלווים כל שלב בצינור הנתונים. בבדיקות מעבדה מקיפות, המנגנון בלם 2,560 תרחישי תקיפה מורכבים מבלי לאפשר ולו פעולה חיצונית מזיקה אחת.

ארכיטקטורה מעשית למשילות סוכנים בארגון

יישום משילות דטרמיניסטית אינו מחייב ויתור על מודלי שפה, אלא שלילת הסמכות הביצועית הישירה שלהם. באניקאי (Aniccai), אנו מתכננים מערכות אוטומציה סוכניות על פי חלוקה ברורה לשלושה שלבים נפרדים:

1. הצעת פעולה הסתברותית: סוכן ה-AI מעבד את הנתונים ומציע מבנה נתונים מוגדר של הפעולה שהוא מבקש לבצע, כגון עדכון רשומה ב-CRM או שליחת הודעה.
2. ברוקר אימות דטרמיניסטי: רכיב תוכנה חיצוני וקשיח בוחן את הפעולה מול חוקת המדיניות של הארגון. הוא מוודא תקרות תקציב, שעות פעילות מותרות, ואימות פרטי לקוח ללא מעורבות של מודל שפה נוסף.
3. הנפקת היתר קריפטוגרפי: במידה והפעולה עומדת בכל החוקים הדטרמיניסטיים, הברוקר מנפיק היתר ביצוע חד-פעמי שמוצמד לחתימת הבקשה המדויקת. רק בקשה המלווה בהיתר תקף זה מורשית להתבצע במערכת היעד.

חלוקה זו משאירה את מודל השפה במקום שבו הוא מצטיין: הבנת שפה טבעית, מיפוי סמנטי ותכנון דינמי. את הגבולות, החוזים והאכיפה אנו משאירים לתשתיות תוכנה מוכחות ודטרמיניסטיות.

מקורות

• [2609.01595] Mechanism Design for Alignment and Control (arXiv)
• [2609.00267] Delegation Without Trust: An Empirical Gap Analysis of Identity, Authorization, and Runtime Governance in Multi-Agent LLM Systems (arXiv)
• What Transactive Energy Already Knows About AI Governance (Knowledge Problem)
• Verifiable Behavioral Governance for Autonomous AI Agents - arXiv (arXiv)
• CONTINUITY: Security-Context Contracts for Composable LLM Agent Controls (arXiv)

שאלות נפוצות

מדוע פרומפט מערכת אינו מספק לאבטחת סוכנים אוטונומיים?

פרומפטים פועלים בתוך שכבת הקשב ההסתברותית של המודל. היות והמודל קורא הוראות מערכת וקלט חיצוני באותו ערוץ זיכרון, קלט זדוני או אובדן הקשר יכולים לעקוף בקלות כל הנחיה מילולית.

מהי הנחת המודל הלא-מהימן בארכיטקטורת תוכנה?

הנחת המודל הלא-מהימן קובעת כי יש לתכנן את סביבת העבודה בהנחה שהמודל ייפרץ לחלוטין. האבטחה אינה נשענת על ציות המודל, אלא על מחסומים דטרמיניסטיים חיצוניים המונעים ממנו לבצע פעולות מחוץ לגבולות שהוגדרו מראש.

כיצד תכנון מנגנונים (Mechanism Design) שונה מגדרות בטיחות רגילות?

גדרות בטיחות רגילות מנסות לסנן מילים או להשתמש במודל שפה נוסף שיבדוק את הפלט. תכנון מנגנונים משתמש בחוקי משחק, מבני תמריצים ואימותים מתמטיים שמבטיחים כי פעולה מדויקת וצייתנית היא הבחירה האופטימלית עבור הסוכן.

מהי קבלת משילות קריפטוגרפית?

קבלה קריפטוגרפית היא מסמך דיגיטלי חתום הקושר את הפעולה שבוצעה אל חוקי המדיניות, ההרשאות ונתוני ההקשר שהיו תקפים באותו רגע. קבלה זו מאפשרת לגורם חיצוני לבצע ביקורת ולאמת את ההחלטה בדיעבד.

דברים שחשוב לזכור

• הפסיקו להסתמך על בקשות מנומסות בפרומפט כדי לאבטח תהליכים אוטונומיים; חשיבה הסתברותית אינה מסוגלת לייצר גבולות ביצוע קשיחים.
• תכננו כל מערכת מרובת סוכנים תחת הנחת המודל הלא-מהימן, תוך הפרדה מוחלטת בין שלב הצעת הפעולה לבין קבלת היתר הביצוע.
• השתמשו בברוקר משילות חיצוני שמנפיק אישורי ביצוע חד-פעמיים ומייצר קבלות חתומות הניתנות לביקורת ושחזור בדיעבד.

בדקו את תהליך האוטומציה הרגיש ביותר שרץ כרגע בארגון שלכם. אם לקוח ישתול הוראה זדונית בתוך פנייה רגילה, איזה מחסום דטרמיניסטי עצמאי מונע מהסוכן שלכם לבצע אותה מיד?