ทดสอบและปรับปรุงคลังความรู้
เอกสารที่ดีไม่ได้เกิดจากการเขียนครั้งเดียวแล้วทดสอบ แต่เกิดจากการทดสอบและปรับปรุงซ้ำ คุณภาพส่วนใหญ่มาจากรอบแก้ไขหลังจากเห็นผลการค้นหาจริง ไม่ใช่จากฉบับแรก
รอบการทดสอบ
- แก้ไขไฟล์ต้นฉบับ
- อัปโหลดไฟล์ใหม่ และเปลี่ยน AI Agent ให้ใช้ไฟล์นั้น การแก้ไขจะยังไม่มีผลจนกว่าจะอัปโหลดใหม่ ดู อัปโหลดและทดสอบการค้นหา
- ทดสอบการค้นหาทุกหัวข้อ ด้วยคำถามของลูกค้า (ขั้นที่ 1 ด้านล่าง)
- แก้หัวข้อที่ค้นไม่เจอ แล้วกลับไปขั้นตอนที่ 2
- ทดลองคุยกับ AI Agent สำหรับหัวข้อที่ต้องดูพฤติกรรม (ขั้นที่ 2 ด้านล่าง)
- ทดสอบซ้ำ 2 ถึง 3 รอบ ก่อนสรุปผล เพราะ AI Agent อาจตอบต่างกันเล็กน้อยในแต่ละครั้ง
ขั้นที่ 1: ทดสอบการค้นหาทุกหัวข้อ
ใช้แท็บ ทดสอบการค้นหา ในหน้าคลังความรู้ ค้นหาด้วยคำถามแต่ละรูปแบบในหัวข้อ ### Q: และบรรทัด “คำถามที่เข้าข่ายหัวข้อนี้”
บันทึกผลแต่ละหัวข้อ เช่น
| ผล | ความหมาย | ต้องทำอะไร |
|---|---|---|
| ผ่าน | เนื้อหาคำตอบขึ้นเป็นอันดับแรก | ไม่ต้องแก้ |
| อ่อน | ค้นเจอ แต่หัวข้ออื่นที่คล้ายกันขึ้นก่อน | ควรแก้ โดยเฉพาะเมื่อหัวข้อนั้นชนะทุกครั้ง |
| ไม่ผ่าน | ไม่มีคำถามรูปแบบใดค้นเจอเนื้อหาคำตอบ | ต้องแก้ก่อนใช้งานจริง |
วิธีแก้เมื่อค้นไม่เจอหรือได้คำตอบผิด
ค้นไม่เจอเลย
- เพิ่มบรรทัด “ทวนคำถาม + คำตอบหลัก” เป็นบรรทัดแรกของเนื้อหา
- เพิ่มคำที่ลูกค้าพูดจริงลงในบรรทัด “คำถามที่เข้าข่ายหัวข้อนี้” และในเนื้อหา
- ตรวจว่าหัวข้อยาวเกินไปหรือมีหลายเรื่องหรือไม่ ถ้าใช่ให้แยกออก
ดูรายละเอียดแต่ละเทคนิคที่ เขียนเอกสาร FAQ ให้ AI Agent ค้นเจอ
หัวข้อข้างเคียงขึ้นมาแทน
คำตอบผิดที่เกิดซ้ำมักเป็นปัญหาของหัวข้อข้างเคียง หัวข้อที่ถูกค้นเจอไม่ใช่หัวข้อที่เป็นเจ้าของคำตอบ แล้ว AI Agent ก็ตอบตามหัวข้อที่เจอ ดูว่าหัวข้อไหนขึ้นมาแทน แล้วเลือกแก้วิธีใดวิธีหนึ่ง
- เพิ่มบรรทัด “ทวนคำถาม + คำตอบหลัก” ในหัวข้อที่ถูกต้อง ให้ขึ้นมาก่อนหัวข้อข้างเคียง
- ใส่ข้อมูลที่ถูกต้องไว้ในหัวข้อข้างเคียงด้วย ไม่ว่าหัวข้อไหนถูกค้นเจอ ลูกค้าก็จะได้คำตอบที่ถูก
ตัวอย่าง ลูกค้าถามว่า “บัตรประชาชนหาย จะเคลมยังไง” แต่หัวข้อเรื่องการยืนยันตัวตนด้วยบัตรประชาชนขึ้นมาก่อนทุกครั้ง เพิ่มบรรทัดนี้ในหัวข้อนั้นก็แก้ได้
กรณีบัตรประชาชนหาย: ใช้ใบแจ้งความและสำเนาทะเบียนบ้านแทนได้ ดูขั้นตอนเคลมกรณีบัตรหายได้ที่ไลน์ @exampleการแก้ที่ข้อมูลในเอกสารแบบนี้มักได้ผลดีกว่าการเพิ่มคำสั่งใน Prompt
แก้แล้วหัวข้ออื่นเสีย
ทุกการแก้ไขเอกสารอาจเปลี่ยนผลการค้นหาของหัวข้ออื่น เพราะจุดแบ่งเนื้อหาและลำดับผลลัพธ์เปลี่ยนตาม แนะนำให้แก้ครั้งละ 4 ถึง 6 หัวข้อ แล้วทดสอบใหม่ทั้งไฟล์ทุกครั้ง อย่าทดสอบเฉพาะหัวข้อที่เพิ่งแก้
ขั้นที่ 2: ทดลองคุยกับ AI Agent
การทดสอบการค้นหาบอกได้ว่าเอกสารมีคำตอบและค้นเจอหรือไม่ แต่บอกไม่ได้ว่า AI Agent ค้นหาจริงหรือไม่ และทำอะไรต่อ ให้ ทดลองคุยกับ AI Agent สำหรับหัวข้อที่คำตอบเปลี่ยนการกระทำของ AI Agent เช่น
- ต้องโอนสายหรือส่งต่อเจ้าหน้าที่หรือไม่
- เลือกหัวข้อที่ถูกต้องระหว่างสองเรื่องที่คล้ายกันหรือไม่
- ข้อมูลที่ต้องแจ้งทุกครั้งถูกพูดครบหรือไม่
- ตัวเลขสำคัญ (เบอร์โทร อัตรา จำนวนเงิน) ถูกต้องตรงตามเอกสารหรือไม่
- เมื่อถามเรื่องที่ไม่มีในเอกสาร AI Agent ไม่เดาคำตอบ
ข้อแนะนำในการทดลองคุย
- ทดสอบทีละเรื่องก่อน แล้วค่อยทดสอบหลายคำถามติดกันในบทสนทนาเดียว เมื่อถามหลายเรื่องติดกัน AI Agent อาจใช้ข้อมูลที่ค้นได้ในรอบก่อนตอบโดยไม่ค้นหาใหม่
- ใช้ประโยคแบบที่ลูกค้าพูดจริง รวมถึงคำพูดสั้น ๆ คำพูดกำกวม และการเล่าปัญหาแทนการถามตรง ๆ
- ตรวจทั้งคำตอบที่ต้องมีและคำตอบที่ต้องไม่มี เช่น ต้องได้เบอร์ที่ถูก และต้องไม่มีเบอร์อื่นปนมา
- ใช้ประวัติการทดลองเปรียบเทียบก่อนและหลังแก้ไข ดู ทดลองคุยกับ AI Agent ก่อนใช้งานจริง
หลังใช้งานจริง
- ทบทวนบทสนทนาจริงเป็นระยะ ดูคำถามที่ AI Agent ตอบว่าไม่มีข้อมูล หรือตอบไม่ตรง
- นำคำพูดจริงของลูกค้าที่ค้นไม่เจอ ไปเพิ่มในบรรทัด “คำถามที่เข้าข่ายหัวข้อนี้”
- หากพบคำถามใหม่ที่เอกสารยังไม่มี ให้เพิ่มหัวข้อใหม่ แล้วทดสอบใหม่ทั้งไฟล์
เช็กลิสต์ก่อนใช้งานจริง
เอกสาร
- ผ่าน สรุปก่อนอัปโหลด ครบทุกข้อ
- ข้อมูลที่ขัดแย้งกันหรือยังไม่ยืนยัน ได้รับการยืนยันแล้ว ดู เตรียมข้อมูลและอัปเดตเอกสาร
Prompt
- ระบุหมวดคำถามที่ต้องค้นหาก่อนตอบ และห้ามตอบจากความจำ
- ตอบว่าไม่มีข้อมูลได้เฉพาะเมื่อค้นหาแล้วไม่พบ และบอกว่าต้องทำอะไรต่อ
- ไม่มีข้อมูลราคา เบอร์โทร หรือ FAQ ฝังอยู่ใน Prompt
- แยกขอบเขตระหว่างคลังความรู้กับ Tools อื่นชัดเจน
การทดสอบ
- ทุกหัวข้อค้นเจอเนื้อหาคำตอบด้วยคำถามของลูกค้า
- หัวข้อที่ส่งผลต่อการกระทำของ AI Agent ผ่านการทดลองคุย
- ทดสอบซ้ำ 2 ถึง 3 รอบหลังอัปโหลดไฟล์ล่าสุด
- AI Agent ใช้เอกสารเวอร์ชันล่าสุดเพียงไฟล์เดียว และเผยแพร่แบบร่างแล้ว