תפסיקו לגייס סוכני AI על בסיס אמונה

תפסיקו לגייס סוכני AI על בסיס אמונה: המעבר למבחני קבלה אג'נטיים

ביצועים גבוהים במבחני השוואה (Benchmarks) לא אומרים שסוכן ה-AI שלכם מוכן לעבודה.

בדיוק כפי שלא הייתם שוכרים מנהל חשבונות רק כי הוא קיבל 100 בבגרות במתמטיקה, אתם לא יכולים להפקיד את המערכות שלכם בידי מודל שפה רק כי הוא "חכם".

ב-Aniccai, ראינו יותר מדי צוותים שנופלים ל⁨מלכודת היכולת⁩: הם רואים דמו מרשים ומניחים שהסוכן יתנהג באותה צורה מול לקוח זועם או בסיס נתונים רגיש. המציאות היא שסוכנים נכשלים בצורה לא צפויה.

הפתרון הוא לא לוותר על אוטומציה, אלא לשנות את צורת המחשבה: ממעבר בינארי בין "ניסוי" ל"ייצור", למודל של אוטונומיה מדורגת ומבחני קבלה קשוחים.

דברים מרכזיים שתלמדו

• מדוע מדדי ביצועים סטנדרטיים הם אינדיקטור גרוע למוכנות תפעולית.
• כיצד לבנות "מבחן סוכן" שבודק עמידות בפני מניפולציות ודיוק בשימוש בכלים.
• המבנה של ארכיטקטורת "ממשל תחילה" שמפרידה בין תכנון לביצוע.
• איך ליישם מודל של הרשאות מבוססות אמון שנבנה לאורך זמן.

מלכודת היכולת: למה ציונים גבוהים לא מבטיחים שקט נפשי

רוב החברות מסתמכות על מדדים חיצוניים כדי להחליט אם להטמיע כלי מסוים. אבל כפי שצוין במאמר Stop Shipping AI Agents on Faith (Bousetouane), יכולת אינה שווה למוכנות לייצור. סוכן יכול להיות מבריק בכתיבת קוד אבל הרסני בניהול הרשאות.

הבעיה היא שסוכני AI הם הסתברותיים, לא דטרמיניסטיים. הם יכולים לעבוד מושלם ביום ראשון ולהזות ביום שני אחרי עדכון קטן בגרסת המודל.

כדי לגשר על פער האמון הזה, אנחנו צריכים לעבור למדידה של "מדד ProofAgent" (PAI), המשלב הערכת התנהגות עם הקשר תפעולי וממשל תאגידי. זה לא רק מה הסוכן יודע לעשות, אלא איך הארגון יכול לשלוט בו כשהוא טועה.

הגדרת "מבחן הסוכן": מדידת דיוק ועמידות

מבחן קבלה לסוכן AI חייב להיות קשוח יותר מכל מבחן אנושי. הוא צריך לכלול תרחישי קיצון שבהם מנסים להטעות את הסוכן (Adversarial attacks).

מחקר של READY or Not: Reliable Enterprise Agent Deployment (Chatrath et al.) הראה ששתי מערכות עם דיוק כמעט זהה יכולות לדרוש רמות שונות לחלוטין של פיקוח אנושי כדי להגיע לאותו יעד אמינות.

אוטונומיה מדורגת: הסוכן צריך להרוויח את ההרשאות שלו

אחד הקונספטים החזקים ביותר שאימצנו ב-Aniccai הוא "אוטונומיה מדורגת". במקום לתת לסוכן גישת Read/Write מלאה מהיום הראשון, אנחנו בונים סולם של אמון.

כפי שמתואר בבלוג הארכיטקטורה של AWS בנושא סגירת פער האמון (Arora et al.), סוכנים צריכים להתחיל בדרגת "תקופת ניסיון" (Probation). בדרגה זו, הם יכולים רק לקרוא נתונים ולהציע פעולות.

רק לאחר שהסוכן מוכיח עקביות ובטיחות לאורך זמן, הציון שלו עולה והוא מקבל הרשאות לביצוע פעולות (Execute) או שינוי נתונים (Modify). אם מזוהה חריגה בבטיחות, הדרגה יורדת באופן מיידי. זהו מנגנון הגנה אקטיבי שמונע נזק לפני שהוא קורה.

ארכיטקטורת LATTICE: ⁨הפרדת רשויות בתוך ה-AI⁩

כדי שנוכל לסמוך על המערכת, אנחנו צריכים מבנה שבו מי שמחליט על הפעולה הוא לא זה שמאשר אותה.

המאמר על ארכיטקטורת LATTICE (Calboreanu) מציע מודל של "ממשל תחילה". הארכיטקטורה הזו מבטיחה ששום רכיב בודד לא יכול גם לתכנן פעולה וגם לשפוט אם היא עומדת בכללים.

זה הופך את שאלת האישור משאלה של "האם אנחנו סומכים על ה-AI?" לשאלה הנדסית של "האם אנחנו סומכים על הארכיטקטורה?". את הארכיטקטורה אפשר לבדוק, לאמת ולבצע עליה אופטימיזציה. ה-AI הוא רק המנוע, אבל הממשל הוא ההגה והבלמים.

מקורות

• [2609.02095] READY or Not: Reliable Enterprise Agent Deployment (web)
• Stop Shipping AI Agents on Faith: Capability Is Not Production Readiness (web)
• Closing the AI agent trust gap with graduated autonomy | AWS Architecture Blog (web)
• Frontiers | LATTICE: a governance-first architecture for authorized autonomous AI operations (web)

שאלות נפוצות

למה אי אפשר להסתמך על ציוני Benchmarks של מודלים כמו GPT-4 או Claude?

ציונים אלו מודדים יכולת כללית בפתרון בעיות מופשטות. הם לא מודדים איך המודל יתנהג בתוך זרימת העבודה הספציפית שלכם, עם הכלים שלכם והנתונים שלכם. המוכנות לייצור תלויה בהקשר (Context) ולא רק ביכולת הגולמית.

מה זה "אוטונומיה מדורגת" בפועל?

זהו מנגנון שבו סוכן ה-AI מקבל הרשאות בהתאם לביצועים המוכחים שלו. הוא מתחיל עם גישת קריאה בלבד, וככל שהוא צובר "נקודות אמון" דרך פעולות נכונות ובטוחות, המערכת משחררת לו הרשאות כתיבה וביצוע באופן אוטומטי.

איך מבטיחים שסוכן לא יבצע פעולה הרסנית בטעות?

משתמשים בשכבת אכיפה חיצונית לסוכן. הארכיטקטורה צריכה לכלול "⁨שומר סף⁩" דטרמיניסטי שבודק כל קריאה לכלי (Tool call) מול מדיניות הארגון לפני שהיא מבוצעת, ללא קשר למה שהסוכן ביקש לעשות.

דברים שחשוב לזכור

• יכולת אינה מוכנות: אל תתבלבלו בין דמו מרשים לבין מערכת בטוחה לייצור.
• אמון נבנה, לא ניתן: יישמו מודל של אוטונומיה מדורגת שבו סוכנים מתחילים עם הרשאות מינימליות.
• ארכיטקטורה מעל מודל: השקיעו במערכת ממשל חיצונית ששולטת בסוכן, במקום לנסות "לאלף" את המודל עצמו.

האם אתם יודעים מהו הציון הבטיחותי המינימלי שנדרש מסוכן ה-AI שלכם לפני שהוא מקבל גישה למסד הנתונים של הלקוחות?