בדיקות איכות ואמינות לסוכני AI, לפני ההשקה וגם אחריה
שלחו קישור לסוכן ותארו את המשימות והכללים שלו. נבדוק אותו בשיחות עם שאלות המשך, שינויים בבקשה ומקרי קצה, כדי לזהות היכן התשובות או הפעולות שלו חורגות מהמצופה.
תקבלו תיעוד של שיחות הבדיקה, התוצאה המצופה ומה קרה בפועל, כדי שהצוות יוכל להבין את התקלה ולשחזר אותה.
כך מתבצעת הבדיקה
מגדירים מה הסוכן צריך לעשות
מוודאים שניתן לגשת לסוכן ומגדירים תרחישי בדיקה לפי המשימות, הכללים העסקיים וחומרי הידע שלכם. לכל תרחיש מגדירים מראש תוצאה מצופה.
בודקים שיחות ותרחישים מציאותיים
בודקים ניסוחים שונים, שאלות המשך, שינוי דרישות וניסיונות לעקוף הנחיות. מתעדים את המענה וחוזרים על תרחישים שבהם זוהתה תקלה.
מציגים ממצאים שאפשר לפעול לפיהם
משווים בין התוצאה המצופה להתנהגות בפועל ומפרטים את הפערים. הבדיקה המקיפה כוללת גם דירוג חומרה, הצעות לתיקון ובדיקה חוזרת ממוקדת.
קישור ציבורי מאפשר לבדוק את השיחה עם הסוכן. כדי לבדוק פעולות במערכות, הרשאות או שינויים בנתונים, נדרשת גישה לסביבת בדיקה או ליומני פעילות. מה שלא ניתן לאמת יסומן בדוח כתחום שלא נבדק.