Демонстрація / навчальна демонстрація
Демонстрація RAG-асистента: відповідь із джерелом або чесна відмова
Це статична демонстрація на вигаданих документах. Вона не підключена до мовної моделі, не приймає файли та не викликає платний API. Її задача — показати, яким має бути контракт відповіді асистента до початку інтеграції.
Що саме додає retrieval
RAG поєднує пошук інформації з генерацією відповіді. У прикладному продукті це дає можливість передати моделі вибрані уривки з актуальної бази знань. Наявність уривків не гарантує, що модель правильно їх використає, тому пошук і відповідь треба оцінювати окремо.
Ми починаємо з переліку питань користувачів і дозволених джерел. Якщо для задачі достатньо звичайного пошуку та посилань, генерація може бути зайвою. Якщо потрібне узагальнення кількох документів, корисно спочатку визначити вимоги до цитування й невизначеності.
Маленька навчальна база знань
У прикладі є лише два вигадані фрагменти. Вони не описують політики 01.DEVS або будь-якого клієнта.
| Документ | Демонстраційний уривок |
|---|---|
| demo-access.md, розділ 2 | Доступ до тестового workspace надає адміністратор після погодження власника проєкту. |
| demo-support.md, розділ 1 | Технічні звернення потрібно реєструвати у внутрішній черзі Support. |
Три очікувані результати
На питання «Хто надає доступ до тестового workspace?» навчальна відповідь: «Адміністратор після погодження власника проєкту». Вона повинна показати посилання на demo-access.md, розділ 2.
На питання «За скільки хвилин дадуть доступ?» правильний результат цього прикладу — «У доступних документах немає строку. Уточніть його у власника процесу». Асистент не повинен вигадувати SLA.
Якщо користувач не має права читати demo-access.md, результат пошуку не повинен передавати цей фрагмент генератору. Приховати посилання після генерації недостатньо: зміст уже міг потрапити у відповідь.
text
Питання + ідентичність користувача
↓
Пошук лише в дозволених документах
↓
Відібрані уривки + ідентифікатори джерел
↓
Відповідь із посиланнями / недостатньо даних
Статична навчальна схема; модель не викликається.Оцінювати помилки до підключення користувачів
Для пробного набору ми рекомендуємо підготувати питання з прямою відповіддю, з потрібним поєднанням документів, без відповіді, зі старою версією політики та з обмеженим доступом. Очікуваний результат записує людина, що розуміє джерела.
- Retrieval: чи знайдено потрібний документ серед доступних користувачу?
- Grounding: чи підтверджують уривки кожне суттєве твердження?
- Посилання: чи відкривається точний документ і зрозумілий його розділ?
- Відмова: чи не з'являється вигаданий строк або правило, якого немає в базі?
- Оновлення: як застарілий або видалений документ перестає впливати на відповідь?
Що потрібно для робочої інтеграції
Production-версія потребує узгоджених доступів, процесу індексації й видалення, оцінювання якості та обліку вартості. Документи варто трактувати як дані: текст джерела не повинен отримувати право змінювати системні правила або запускати зовнішні дії.
Перший пілот доцільно обмежити однією базою знань і вузьким типом питань. За його результатами можна вирішити, чи допомагає асистент, які джерела потрібно покращити та чи виправдані витрати на модель.
Джерела та контекст
Маєте подібну задачу?
Розкажіть про продукт, поточні обмеження й потрібний результат — визначимо предметний наступний крок.