דמיינו שאתם מקלידים שאלה כמו ״האם אנחנו מחזירים כסף על מוצר פגום?״ ומקבלים תשובה קצרה וברורה, עם קישור לעמוד המדויק בקבצים שלכם שממנו היא הגיעה. זה בדיוק מה שעושה עוזר AI (בינה מלאכותית) שעונה על שאלות מתוך המסמכים של העסק שלכם. הוא קורא את המחירונים, המדריכים, הנהלים והשאלות הנפוצות שלכם, ועונה כמו עובד ותיק שמכיר את העסק. (השם הטכני הוא RAG. לא צריך לזכור אותו.)
ב-18 החודשים האחרונים, בכל פרויקט שמסרנו היה חלק שתפקידו למצוא את המידע הנכון. רק בחלק מהם השם הטכני הזה הופיע בהצעת המחיר. השם הרבה פחות חשוב מהתפקיד: למצוא את המידע הנכון, להסביר אותו במילים פשוטות, ולהראות מאיפה הוא הגיע.
מה בעלי עסקים בדרך כלל מבקשים
כשלקוח מבקש מאיתנו ״AI שמכיר את המסמכים שלנו״, הוא בדרך כלל מתכוון לאחד משלושה דברים:
- תיבת חיפוש שנותנת תשובות, לא קישורים. מקלידים שאלה ומקבלים הסבר, במקום רשימה של עמודים שצריך לחפור בהם.
- צ׳אטבוט שעונה מתוך המסמכים שלכם. התשובות שלו מבוססות על המידע שלכם, לא על ניחושים.
- עוזר לצוות. עובד חדש מקבל תשובה לשאלה שבדרך כלל היה שואל עובד ותיק, בלי לחכות שיתפנה.
אלה שלושה דברים שונים. בונים אותם בצורה דומה, אבל כל אחד מהם יכול להשתבש בדרך אחרת. לכן כדאי לדעת מה מהם אתם באמת צריכים.
למה חיפוש ״חכם״ לבד לא מספיק
הרבה כלי AI מחפשים לפי משמעות. שואלים על ״החזרים״, והם ימצאו גם עמודים על ״החזרת מוצר״ ועל ״זיכוי״. זה החלק הטוב, והוא נראה מרשים בהדגמה.
אבל חיפוש לפי משמעות חלש בפרטים מדויקים: מספר חלק, תאריך, ביטוי מדויק, או שאלה שיש בה את המילה ״לא״.
אם לקוח מקליד ״קוד שגיאה 4017״, הוא לא רוצה עמודים שמדברים על שגיאות באופן כללי. הוא רוצה את העמוד האחד שמופיע בו 4017. חיפוש מילים רגיל מוצא את זה כהרף עין. חיפוש לפי משמעות מפספס את זה לא פעם.
הפתרון פשוט: להפעיל את שני סוגי החיפוש יחד, אחד לפי מילים מדויקות ואחד לפי משמעות, ולהציג למעלה את התוצאות הכי טובות משניהם. זה קצת יותר עבודה לכל שאלה. בתמורה, העוזר מפסיק לתת תשובות מביכות לשאלות שהלקוחות שלכם באמת מקלידים.
תשובות מהירות, בלי לעגל פינות
אף אחד לא אוהב לחכות לתשובה. אם כל התשובה צריכה להגיע תוך כ-1.2 שניות, כל שלב נוסף מורגש.
שלב אחד שלוקח זמן הוא ״מבט שני״ שמסדר מחדש את התוצאות, כדי לוודא שהטובה ביותר באמת נמצאת למעלה. אנחנו לא מפעילים אותו על כל שאלה. מפעילים אותו רק כשהעוזר לא בטוח שמצא את התשובה הנכונה. כששאלה זהה לשאלה שהוא כבר מכיר, מדלגים עליו.
החלק האיטי השני הוא שליפת המסמכים עצמם. אם הם שמורים רחוק, כל מסמך מוסיף עיכוב קטן. לכן אנחנו שומרים אותם ממש ליד החיפוש. האחסון הנוסף כמעט לא עולה כסף. תשובות איטיות עולות לכם בסבלנות של הלקוחות.
כל תשובה צריכה להראות מאיפה היא הגיעה
אנשים לא סומכים על AI שנשמע בטוח בעצמו אבל לא נותן להם דרך לבדוק. לכן כל תשובה צריכה להפנות למסמך שממנו היא הגיעה, עם קישור אמיתי שאפשר ללחוץ עליו.
למדנו את זה בדרך הקשה. בכמה מערכות שמסרנו, ה-AI כתב בעצמו את הקישורים למקורות. הוא ידע איך קישור אמור להיראות, אז הוא המציא קישורים שנראו אמיתיים אבל לא הובילו לשום מקום. הצוות המשפטי שם לב לזה עוד לפני המשתמשים.
הפתרון שלנו: ה-AI אף פעם לא כותב קישורים. הוא רק מפנה למקורות ממוספרים שאנחנו נותנים לו. אחרי שהוא עונה, המערכת שלנו מחליפה כל מספר בקישור האמיתי. ה-AI לא יכול להמציא קישור שהוא אף פעם לא ראה.
בדיקות לפני ההשקה, וגם אחריה
קל לעשות הדגמה טובה. לתת תשובות טובות כל יום, לשאלות אמיתיות, זה כבר קשה יותר. מה שעושה את ההבדל הוא בדיקות.
אנחנו בודקים שלושה דברים:
- האם כל שאלה מוצאת את המסמך הנכון? למשל, האם שאלה על שגיאה מסוימת מביאה את העמוד שעוסק בה?
- כשיש לעוזר את המסמכים הנכונים, האם התשובה אומרת את מה שצריך?
- מהשאלה ועד התשובה הסופית, האם התוצאה טובה? את התשובות האלה מדרג AI חזק יותר.
אנחנו מריצים את הבדיקות האלה בכל פעם שמשנים את ההוראות של העוזר. בנוסף, פעם בשבוע מריצים את כל הבדיקות על דוגמאות של שאלות אמיתיות שאנשים שאלו.
הנה למה זה חשוב. בשבוע שבו העברנו מערכת לגרסה חדשה של Claude, ה-AI של חברת Anthropic, הבדיקות תפסו בעיה בשאלות שיש בהן ״לא״. הדגמה לעולם לא הייתה מגלה את זה. חזרנו לגרסה הקודמת, תיקנו את ההוראות, ועברנו לגרסה החדשה יומיים אחר כך.
מה מגיע עם כל עוזר שאנחנו בונים
אחרי ארבעה עוזרים כאלה שעובדים בשימוש יומיומי אמיתי, הרשימה כבר קבועה. כל אחד מגיע עם:
- חיפוש לפי מילים מדויקות ולפי משמעות, שעובדים יחד
- ״מבט שני״ שמופעל רק כשצריך
- מסמכים ששמורים קרוב, בשביל תשובות מהירות
- קישור אמיתי למקור בכל תשובה
- לפחות 50 בדיקות כבר מההתחלה
- לוח בקרה פשוט שמראה כמה מהר מגיעות התשובות, כמה פעמים נמצא המסמך הנכון, וכמה פעמים התשובות נכונות
לוח הבקרה הוא מה שמתריע לנו כשמשהו מתחיל להידרדר. בלעדיו, הייתם שומעים על זה מלקוח.
שאלות ששווה לשאול לפני שמתחילים
אם אתם שוקלים עוזר כזה, השאלות האלה יעזרו לכם להבין מה אתם צריכים:
- מי ישתמש בו? הלקוחות שלכם, הצוות, או שניהם?
- מאילו מסמכים הוא צריך לענות? ומי דואג לעדכן אותם?
- האם הוא צריך פרטים מדויקים? מק״טים, תאריכים ומספרי הזמנה צריכים את החיפוש לפי מילים כדי לעבוד טוב.
- האם כל תשובה יכולה להראות את המקור שלה? אם לא, יהיה קשה לסמוך עליה.
- איך תדעו שהוא עדיין עובד טוב גם בחודש הבא? שאלו איך הוא ייבדק אחרי ההשקה.
השם לא באמת חשוב
תקראו לזה איך שנוח לכם בניירת. מה שאתם באמת רוצים הוא פשוט: עוזר שמחפש במידע של העסק שלכם, מסביר את התשובה במילים פשוטות, ומראה לכם את ההוכחה.
אם זה נשמע שימושי לעסק שלכם, קבעו שיחת ייעוץ חינם של 30 דקות. נדבר על מה שיש לכם בראש. אחרי השיחה נכתוב מה בדיוק נבנה, ונשלח לכם הצעת מחיר ברורה. אפשר גם לקרוא עוד על שילוב AI בעסק.