תיקון צ'אט במוצר שכבר באוויר

כשהשליפה מפספסת את הקטע הנכון, המודל משלים מהידע הכללי שלו. משחזרים את התשובה השגויה, בודקים מה נשלף, אם הפרומפט דורש ציטוט, ואם המקור בכלל באינדקס. התיקון הוא בשליפה ובעיגון, וב-eval שנופל כשהבוט עונה בלי מקור.

אוספים שאלות אמיתיות מהמוצר, עם המקור הצפוי ועם ההתנהגות הצפויה כשאין מקור. כל שינוי בשליפה או בפרומפט רץ מול הסט הזה. שחרור יוצא רק כששער ה-eval עובר, כולל מקרים שבהם הבוט חייב לסרב או לומר שאינו יודע.

סינון אחרי שהמודל כבר כתב תשובה מגיע מאוחר מדי. מיישמים את כללי ההרשאה של המוצר בזמן בחירת המסמכים, כך שמשתמש שולף רק קטעים שמותר לו לראות. בודקים את זה עם משתמשים מתפקידים שונים לפני שהשינוי עולה.