Ассистент по своей базе знаний: где он ломается и как сделать так, чтобы работал
Идея понятна каждому: у вас есть документы, методички, записи встреч, переписка — и хочется, чтобы можно было просто спросить, и получить ответ по своим материалам. За это берутся охотно. Получается редко.
Я собирал такие ассистенты не один раз. И заметил: дело почти никогда не в модели. Модель сегодня у всех одна и та же — доступна за копейки. Ломается всё раньше: на данных и на постановке задачи.
Разберу три причины, по которых ассистент не работает, — и что я делаю иначе.
Причина первая: база — это свалка
Самая частая картина. Человек говорит: «у меня всё есть, вот папка». Открываешь — и видно беду:
- десять версий одного документа, и какая актуальная — непонятно даже автору;
- сканы, где текст не читается машиной;
- таблицы, смысл которых понятен только тому, кто их вёл;
- файлы с именами вроде «финал_новый_2_правка».
Модель на такой базе отвечает уверенно и неверно. Она не знает, что версия «финал_2» устарела, а «финал_3» — черновик. Для неё это равнозначные куски текста.
Что я делаю: сначала разбираю корпус. Свожу версии, выкидываю дубли, вытаскиваю текст из сканов, помечаю, что действует, а что архив. Это скучная работа, и её обычно пропускают. Именно поэтому потом ничего не работает.
Причина вторая: ассистент отвечает «вообще», а не по вашему методу
Второй провал — когда ассистента делают «умным поиском». Человек задаёт вопрос, ассистент вываливает пять похожих абзацев. Формально всё нашлось. По сути — пользователь остался один на один с текстом, как и был.
Ассистент нужен не чтобы найти, а чтобы ответить так, как ответили бы вы. По вашей логике, вашими шагами, с вашими формулировками.
Здесь решает не размер базы, а то, что вы кладёте поверх неё: как вы обычно строите ответ, в каком порядке, что считаете главным. Это и есть ваш метод — и именно его стоит вложить в ассистента.
Что я делаю: описываю логику ответа вместе с вами, а не просто «включаю поиск». Ассистент получает не только документы, но и то, как из них собирать ответ.
Причина третья: никто не проверяет, врёт ли он
Самая опасная. Ассистент отвечает складно — и ему верят. А он в одном месте ошибся, в другом придумал, в третьем сослался на отменённый документ. И это всплывает на клиенте, а не на тестах.
Хороший ассистент не выдумывает. Он отвечает строго по материалам и показывает, откуда взял ответ. Если в базе нет ответа — он честно говорит «в ваших документах этого нет», а не сочиняет.
Это проверяется только одним способом: взять свои реальные вопросы — те, что задают вам чаще всего, — и прогнать их. Десяток живых вопросов скажет о качестве больше, чем неделя рассуждений.
Что я делаю: собираю список ваших частых вопросов и проверяю ассистента на них, до того как покажу вам. Где отвечает мимо — вижу, какой кусок базы хромает.
Что реально попадает в две недели
За двухнедельный пилот я успеваю собрать одного ассистента, доведённого до рабочего состояния:
- он отвечает по вашим документам, а не по интернету;
- отвечает в вашей логике, а не набором цитат;
- показывает источник каждого ответа;
- честно молчит, когда ответа в базе нет;
- работает в живом окне, куда можно зайти и спросить самому.
Этого достаточно, чтобы понять главное: решает ли ассистент вашу задачу. Не «интересно ли это выглядит», а — экономит ли время вам и вашим людям.
Чего в две недели не входит
Чтобы не было недосказанности:
- полировка и дизайн — прототип работает, но не блестит;
- все роли и права доступа — учётные записи, разграничения, админка;
- нагрузка — пилот рассчитан на вас и нескольких коллег, не на поток;
- интеграции — подключение к вашей CRM, сайту, мессенджерам — следующий этап.
Пилот — это проверка идеи, а не готовый продукт. Я говорю это прямо, потому что честная граница экономит обоим время.
Как понять по результату
Три честных исхода:
1. Работает — разворачиваем в продукт: роли, нагрузка, интеграции, продакшен. 2. Задача сместилась — часто уже на третий день видно, что настоящая нужда не там, где думали. Это тоже результат: вы сэкономили месяцы. 3. Не работает — скажу прямо. Лучше узнать через две недели, чем через три месяца.
Почему я
За моими плечами двенадцать собственных продуктов в проде — ассистенты, платформы с оплатой, автоматизация. Все они начинались с такого прототипа. Я работаю короткими шагами не из осторожности, а из опыта: так видно правду раньше, чем потрачен бюджет.
Пилот стоит от 90 000 ₽ и занимает две недели. Если хотите понять, применимо ли это к вашей базе — напишите, разберём на ваших документах.