מס האוטונומיה: מדוע סוכני AI שוברים את כלכלת התשתית

סוכנים אוטונומיים מרובי-שלבים שוברים את היחידות הכלכליות של התשתית משום שהם נועלים מעבדי GPU יקרים בזמן המתנה ממושכת לכלים חיצוניים, מה שמקפיץ את עלויות החומרה פר משימה במקום לייצר תפוקה ממשית.

ההחלטה להטמיע סוכן אוטונומי נראית לעיתים כמו מנוף הנדסי מושלם. אנחנו מחברים למודל גישה לחיפוש ברשת, סביבת הרצת קוד ומסד נתונים פנימי, ומצפים שהוא יפתור תהליכים מורכבים מקצה לקצה. אך המציאות בחשבון הענן מציגה תמונה הפוכה.

תובנות מרכזיות

• סוכנים אוטונומיים צורכים עד פי 136.5 יותר אנרגיה מכל שאילתת שפה רגילה.
• מעבדי GPU נשארים במצב סרק (idle) עד כ-54.5% ממשך הביצוע בזמן ההמתנה למענה מכלים חיצוניים.
• מחירי הטוקנים אולי יורדים, אך המחיר לכל משימה שלמה מזנק ככל שלולאות הסוכן נשארות פתוחות.
• ארכיטקטורה דטרמיניסטית ו⁨קריטריוני עצירה⁩ קשיחים שומרים על תקציב התשתיות הרבה יותר מחופש פעולה פתוח.

אשליית הפי 136: מעבר למדד האנרגיה המטלטל

כשצוות בונה לולאת סוכנים, תשומת הלב מופנית בדרך כלל לאחוזי ההצלחה של המשימה. בסביבת פיתוח קטנה, עלויות החומרה נראות זניחות. אך כאשר המערכת פוגשת תעבורת ייצור אמיתית, התמונה משתנה לגמרי.

מחקר מקיף שהוצג בכנס הבינלאומי HPCA (כנס מוביל בתחום ארכיטקטורת מחשבים מתקדמת) על ידי צוותו של פרופסור מינסו רו מהמכון המתקדם למדע וטכנולוגיה בקוריאה, כפי שפורסם בדיווח של KAIST: AI agents burn 136x more power than chatbots | AIntelligenceHub, בדק את טביעת הרגל החומרתית של סוכנים אלה. החוקרים גילו כי מודל שפה בעל 70 מיליארד פרמטרים הפועל בתוך לולאת סוכן אוטונומי צורך פי 136.5 יותר אנרגיה בהשוואה למענה ישיר לשאלה, עם ממוצע של 348.41 ואט-שעה לכל שאילתה.

כפי שפורסם בהרחבה בהודעת KAIST identifies the “hidden energy cost” of AI agents for the first time, החוקר ג'ין קים וצוותו הגדירו את הפער הזה כעלות החומרתית של הסקת מסקנות דינמית. המחקר הוסיף תחזית ולפיה אם היקף השימוש בסוכנים יגיע ל-13.7 מיליארד בקשות ביום, דרישת החשמל של מרכזי הנתונים תגיע ל-198.9 ג'יגה-ואט. נתון זה שווה ערך לכמחצית מצריכת החשמל הממוצעת של ארצות הברית כולה.

אבל הזינוק בצריכת החשמל הוא רק הסימפטום. הבעיה האמיתית עבור מפתחים ומנהלי מוצר נעוצה בניצולת החומרה.

מלכודת ה-GPU במצב סרק: משלמים הון על קלט ופלט חסומים

מדוע הסקת מסקנות דינמית שורפת כל כך הרבה כסף? התשובה היא זמני המתנה של קלט ופלט (I/O).

במערכת רגילה, מעבד GPU (מעבד גרפי המשמש להרצה מקבילית מהירה של חישובי בינה מלאכותית) מעבד טוקנים ברצף וחוזר מיד למאגר המשימות. בארכיטקטורה מרובת שלבים, המודל מתכנן צעד, פונה לכלי חיצוני, מחכה לתשובה וממשיך לצעד הבא. כפי שנותח במאמרו של AI Agents Don't Use 136 Times More Power. The Truth Costs More, מעבדי ה-GPU יושבים ללא מעש עד 54.5% מזמן הריצה בזמן שהמערכת ממתינה למענה מהרשת או ממאגרי הנתונים.

המשמעות של זה עבור חשבון הענן החודשי ברורה. אתם משלמים תעריף שעתי יקר על חומרה מתקדמת בזמן שהיא פשוט ממתינה לקריאת API, לתגובת CRM או לשאילתת בסיס נתונים אטית.

זמן התגובה של המערכת כולה עלול לזנק פי 153.7 ביחס למענה ישיר, כפי שעולה מסקירת TechXplore's review of the KAIST research. כאשר תשתיות יקרות קופאות סביב בקשות רשת סינכרוניות, התקציב שלכם נשרף על זמן ריק.

המקום שבו חשיבה דינמית הופכת ל⁨חוב אוטומציה⁩

כשניגשים לבנות מערכת חכמה, הפיתוי הגדול ביותר הוא לתת למודל להחליט על כל צעד בזמן אמת. חשיבה דינמית נראית כמו פתרון קסם שפוטר את צוות הפיתוח מכתיבת לוגיקה עסקית סדורה.

במקום להגדיר תהליך ברור של חמישה שלבים, אנחנו מסתפקים בהנחיה פתוחה שאומרת למודל למצוא את הדרך לבד. אך המהלך הזה יוצר חוב אוטומציה (העלות התחזוקתית והכלכלית הסמויה של מערכות אוטומציה שבריריות, לא צפויות ועתירות משאבים). כאשר סוכן כזה נתקל בפורמט נתונים לא מוכר, הוא אינו עוצר. הוא מנסה שוב, מחפש מחדש ומנסח שאילתות חלופיות.

ראיתי צוותים מתלהבים מאב-טיפוס שעבד יפה בבדיקה פנימית, ומגלים בדיעבד שהסוכן ביצע ארבעים ושתיים קריאות רצופות כדי לפענח שגיאת תחביר פשוטה בנתונים. עלויות הטוקנים התנפחו, המעבדים נתקעו, והמערכת סיפקה פתרון במחיר גבוה בהרבה מזה של עובד אנושי.

אוטונומיה חסרת גבולות מייצרת ספירלת חישוב. זו לא אינטליגנציה מעשית; זו סתם התרוצצות חסרת שליטה.

הגדרת קריטריוני עצירה ומניעת לולאות סרק

כדי לייצב את הכלכלה של המערכת, חובה לשלול מהמודל את האפשרות להמשיך בלולאה אינסופית. הארכיטקטורה חייבת לכלול גבולות קשיחים בשכבת ההרצה.

ראשית, קבעו תקציב צעדים בלתי גמיש. אם סוכן לא הפיק תוצר ביניים מאומת בתוך ארבע קריאות לכלים, סביבת ההרצה חייבת לחתוך את הפעולה מיד. המערכת צריכה לעצור באופן מסודר, לשמור את המצב ולהעביר התראה לאדם בצוות. לעולם אל תאפשרו למודל לנסות לתקן את עצמו שוב ושוב.

שנית, נתקו את פעולת המודל מההמתנה לכלים באמצעות תורי עבודה אסינכרוניים. אל תחזיקו מעבד פעיל בזמן שהרשת מעבדת נתונים. כשהסוכן מפעיל קריאה לבסיס נתונים, שמרו את מצב הריצה במאגר זיכרון מהיר, שחררו את משאבי העיבוד, וחדשו את הקשר עם המודל רק כשהתשובה מהכלי מוכנה.

שלישית, בצעו ולידציה דטרמיניסטית על הפרמטרים שהסוכן שולח לפני שהם יוצאים לדרך. אם המודל ייצר קלט שגוי, בדקו אותו בעזרת קוד פשוט ולא באמצעות קריאה למודל שפה נוסף שינסה לנתח את הטעות.

מעבר משיטוט אוטונומי לתיזמור מדויק

השיח בענף מציג לעיתים קרובות את האוטונומיה המוחלטת כיעד עליון של עולם הבינה המלאכותית. ההנחה הזו שגויה מיסודה. הנדסה מעשית מחברת בין תבונה לבין יכולת חיזוי.

במקום לאפשר לסוכן לשוטט בחופשיות בין כלים שונים, בנו את מסלול העבודה המרכזי באמצעות גרף תהליכים דטרמיניסטי (תרשים זרימה מכוון וסדור ללא מעגלים). שלבו את מודל השפה רק בנקודות הספציפיות שבהן יש צורך ממשי בהבנת הקשר, חילוץ מידע סמנטי או ניסוח שפה טבעית.

כאשר משימה כוללת איסוף מידע, הרצת חישוב ועדכון רשומה, הקוד שלכם צריך לשלוט בסדר הפעולות. המודל יתרגם נתונים ויפענח כוונות; הקוד ינהל את הזרימה. ההפרדה הזו מחזירה את ניצולת החומרה לרמות גבוהות, מונעת לולאות הרסניות וחותכת את עלות המשימה בעשרות אחוזים.

מקצוענות אמיתית אינה מתבטאת בבניית סוכן שמשוטט עד שהוא נתקל במענה הנכון. היא נמדדת בבחירת הפתרון הנכון והמדויק, ולא בזה שנראה הנוצץ ביותר.

מקורות

• KAIST: AI agents burn 136x more power than chatbots | AIntelligenceHub (web)
• AI Agents Don't Use 136 Times More Power. The Truth Costs More (web)
• KAIST identifies the “hidden energy cost” of AI agents for the first time (web)
• KAIST NEWS CENTER (web)
• Researchers identify the 'hidden energy cost' of AI agents for the first time (web)

שאלות נפוצות

מדוע סוכני בינה מלאכותית צורכים הרבה יותר חשמל מצ'אטבוטים רגילים?

סוכנים אוטונומיים אינם מסתפקים בהפקת טקסט בפעימה אחת. הם מפעילים שרשרת קריאות חוזרות למודלי שפה, פונים לכלי רשת, מעבדים נתוני ביניים ומבצעים שלבי תכנון מרובים. שרשרת זו מכפילה את כמות הטוקנים ואת זמן הריצה של החומרה עד פי 136 למשימה בודדת.

מה גורם למעבדי GPU להישאר במצב סרק בזמן ריצת סוכנים?

חוסר הניצול נובע מחסימות קלט ופלט סינכרוניות. כשהסוכן מפעיל כלי חיצוני, כמו שאילתת חיפוש או קריאת נתונים, המודל ממתין לתשובה. אם הארכיטקטורה אינה מנתקת את החישוב מזמן ההמתנה של הכלי, החומרה היקרה יושבת בזיכרון ללא מעש.

כיצד ניתן לתקן את העלויות הכלכליות של מערכות סוכנים מרובות שלבים?

הדרך היעילה ביותר היא החלפת לולאות פתוחות בתהליכי עבודה דטרמיניסטיים. הגדרת מגבלת צעדים קשיחה, מעבר לקריאות אסינכרוניות ושימוש בצינורות נתונים מובנים שומרים על ניצולת חומרה יציבה ועוצרים בזבוז משאבים.

דברים שחשוב לזכור

• לולאות סוכנים בלתי מבוקרות גורמות לזמני סרק ממושכים של חומרת ה-GPU ומנפחות את העלויות.
• חשיבה דינמית ללא גבולות קשיחים מייצרת חוב אוטומציה כבד ופוגעת ביציבות המערכת.
• תהליכים דטרמיניסטיים ומגבלות צעדים מגנים על תקציב התשתיות מבלי להתפשר על הדיוק.

הביטו בארכיטקטורת הסוכנים שבניתם: על כמה שעות עבודה של מעבדי GPU יקרים אתם משלמים כרגע רק כדי שהמערכת שלכם תשב ותחכה לתגובת שרת?