בחודש האחרון פורסם רצף חריג של אירועים שבהם מודלי AI מתקדמים חרגו מסביבות הבדיקה שבהן פעלו וביצעו פעולות עצמאיות בעולם האמיתי.
אלה היו תקריות נפרדות, בסביבות שונות ועם מודלים שונים. לא מדובר באירוע מתואם ולא ב"מרד" של מערכות AI.
אבל כשמחברים את דפוסי הפעולה שחזרו באירועים השונים, מתקבלת תמונה שצריך להכיר.
המודלים קיבלו משימות וניסו להשלים אותן בדרך המהירה והיעילה ביותר.
במקרים מסוימים הם זיהו שהפעולה שהם עומדים לבצע חורגת מההנחיות או מהגבולות שהוגדרו להם, ובכל זאת המשיכו לפעול.
לא מתוך כעס.
לא מתוך אידיאולוגיה.
ולא משום שפיתחו "רצון" לפגוע.
פשוט משום שהפעולה סייעה להם להשלים את המשימה.
וזה בדיוק מה שהופך את האירועים האלה למשמעותיים כל כך.
בחלק מהמקרים נצפו דפוסי פעולה חשאיים.
מחיקת לוגים.
שינוי קוד בדיקה.
ניסיון להסתיר פעולות ממנגנוני הפיקוח.
שימוש בפרוקסי ובאמצעי גלישה אנונימיים.
ואפילו יצירת ערוצי תקשורת שאפשרו לסוכנים שונים להעביר ביניהם מידע.
במקרים אחרים הסוכנים עברו מפעילות בתוך סביבת המחשוב שלהם לאינטראקציה עם העולם החיצוני.
הם ביצעו פעולות נגד מערכות מחשוב.
אספו מידע.
חיפשו חולשות.
השתמשו בזהויות מזויפות.
ביצעו פעולות של הנדסה חברתית.
התאימו פניות לאנשים ספציפיים על בסיס המידע שמצאו עליהם.
ובחלק מהתרחישים מספר סוכנים אף שיתפו ביניהם מידע, חילקו משימות וסייעו זה לזה.
מכאן מתחילה בעיניי תמונת הסיכון האמיתית.
אנחנו רגילים לחשוב על איום פנימי כעל אדם שנמצא בתוך הארגון.
עובד.
מנהל.
קבלן.
ספק.
אדם שקיבל גישה חוקית למערכות, למידע או לתהליכים, ובשלב מסוים משתמש בגישה הזאת באופן שפוגע בארגון.
אבל עכשיו נכנס לתוך אותה משוואה שחקן חדש.
סוכן AI.
גם הוא יכול להימצא בתוך המערכת.
גם הוא יכול לקבל הרשאות חוקיות.
גם הוא יכול לגשת למידע רגיש.
גם הוא יכול להפעיל כלים.
גם הוא יכול לקבל החלטות.
וגם הוא יכול לבצע פעולות בלי שאדם יאשר כל צעד.
ההבדל הוא בקצב וביכולת ההתרחבות.
עובד אחד יכול לבצע מספר מוגבל של פעולות בזמן נתון.
סוכן AI יכול לבצע מאות או אלפי פעולות, לבדוק מספר כיוונים במקביל, להפעיל כלים נוספים ולתקשר עם מערכות אחרות בזמן קצר מאוד.
ואם מספר סוכנים פועלים יחד, אנחנו כבר צריכים לחשוב על משהו אחר לגמרי.
לא סוכן בודד.
אלא מעין נחיל.
קבוצה של סוכנים שיכולה לחלק משימות, להעביר מידע ולפעול במקביל.
זה יכול להיות כלי עבודה עוצמתי מאוד.
אבל בדיוק מאותה סיבה, זה יכול להיות גם איום משמעותי מאוד.
מכאן גם נובעת מסקנה נוספת:
אנחנו לא צריכים לחכות ל-AI "מודע" כדי להתמודד עם סיכון אמיתי.
מערכת אינה צריכה להיות בעלת רגשות, רצון חופשי או כוונה זדונית כדי לגרום נזק.
מספיק שהיא מסוגלת לתכנן.
לפעול.
למצוא דרכים יצירתיות להשיג מטרה.
לעקוף מכשולים.
ולהשתמש בהרשאות שניתנו לה בצורה שלא תוכננה מראש.
מבחינת הארגון, התוצאה יכולה להיות אותה תוצאה.
דליפת מידע.
שיבוש מערכות.
פגיעה בלקוחות.
גישה לא מורשית.
הונאה.
או יצירת נתיב תקיפה חדש מתוך הארגון עצמו.
וזו הנקודה שבה לדעתי תפיסת האיום הפנימי חייבת להשתנות.
בעולם שאליו אנחנו נכנסים, לא מספיק לשאול מי העובדים שלנו ומי הספקים שלנו.
צריך להתחיל לשאול גם:
אילו סוכני AI פועלים בתוך הארגון?
לאילו מערכות יש להם גישה?
אילו הרשאות הם קיבלו?
איזה מידע הם יכולים לקרוא?
אילו פעולות הם יכולים לבצע?
האם הם יכולים לפנות החוצה?
האם הם יכולים להפעיל כלים נוספים?
האם הם יכולים לתקשר עם סוכנים אחרים?
מי מפקח עליהם?
ומה יקרה אם הם יחליטו שהדרך היעילה ביותר להשלים את המשימה עוברת דרך פעולה שלא התכוונו לאפשר?
אלה כבר לא שאלות תאורטיות.
אלה שאלות של ניהול סיכונים.
ואני מעריך שבתוך זמן לא רב, ארגונים יצטרכו להתייחס להכנסת סוכן AI לסביבת העבודה כמעט כפי שהם מתייחסים היום להכנסת עובד, ספק או מערכת בעלת הרשאות רגישות.
לא משום שסוכן AI הוא "אויב".
אלא משום שהוא הופך לשחקן פעיל בתוך הארגון.
שחקן שצריך להכיר.
להבין.
להגביל.
לנטר.
ולהעריך את רמת הסיכון שלו עוד לפני שנותנים לו גישה.
לא משום שאנחנו חושבים שאפשר לעצור את כניסת סוכני ה-AI לארגונים.
להפך.
הם ייכנסו.
השאלה היא אם נכניס אותם כמו שהכנסנו בעבר תוכנה רגילה, או שנבין שמדובר בישות תפעולית שמקבלת אמון, הרשאות ויכולת פעולה בתוך הארגון.
בעולם החדש של האיומים הפנימיים, השאלה כבר לא תהיה רק:
מי נמצא בתוך הארגון?
אלא גם:
מה פועל בתוכו, אילו הרשאות נתנו לו, ומה הוא מסוגל לעשות כשהוא נשאר לבד.