Пилот ИИ-проекта часто заканчивается фразой «вроде работает». Агент что-то отвечает, сотрудники к нему привыкли, но никто не может сказать, стало ли лучше и стоит ли платить за полноценный запуск. Так получается, когда пилот воспринимают как уменьшенное внедрение, а не как эксперимент с вопросом, на который нужно ответить. В этой статье — как устроены первые две-три недели по шагам, какие цифры снять до старта, что записать заранее и как в конце принять одно из трёх решений: масштабировать, доработать или остановить.
Если вам нужен план сборки самого агента по дням, он есть в статье «Как внедрить ИИ за 2 недели без технической команды». Здесь речь о другом: как превратить эти недели в проверку, по итогам которой понятно, что делать дальше.
Пилот — это проверка гипотезы, а не демонстрация
Демонстрация показывает, что система умеет. Пилот отвечает, работает ли она на ваших данных, с вашими клиентами и вашей командой. Разница в том, что у пилота есть гипотеза, которую можно опровергнуть. Примеры хорошо сформулированных гипотез:
- «Агент закрывает типовые вопросы о доставке и оплате без участия менеджера, и при этом жалоб на ответы не больше, чем сейчас».
- «Ассистент разбирает входящие счета так, что бухгалтер правит не больше одного поля из десяти».
- «Заявки, пришедшие ночью, получают первый ответ в течение пяти минут, а утром менеджер видит их уже квалифицированными».
Плохая гипотеза звучит как «попробуем ИИ в поддержке» или «посмотрим, что получится». Её нельзя ни подтвердить, ни опровергнуть, поэтому и решение в конце будет приниматься по ощущениям.
Хорошая гипотеза касается одного процесса. Если в пилот попадают сразу поддержка, продажи и документооборот, через три недели у вас будет три полусырых результата и ни одного ответа.
Неделя 0: что сделать до старта
Самая недооценённая часть пилота проходит до того, как агент написал первое сообщение. Если её пропустить, в конце не с чем будет сравнивать.
Снять «нулевой замер»
Возьмите последние две-четыре недели работы процесса и посчитайте вручную или выгрузкой из CRM: сколько обращений пришло, сколько времени уходило на ответ, какая доля обращений типовая, сколько потерялось без ответа. Цифры будут неидеальными — это нормально. Важно, чтобы их считали так же, как будут считать во время пилота. Подробнее о том, что входит в затраты и выгоду, — в статье «Как измерить ROI от внедрения ИИ».
Записать критерии успеха до запуска
Пороги, при которых пилот считается удачным, записываются до старта и подписываются обеими сторонами — хотя бы в переписке. Если договариваться о критериях после, обе стороны невольно подгонят их под то, что получилось.
Назначить владельца с вашей стороны
Это человек, который знает процесс, каждый день смотрит на ответы агента и имеет право сказать «это неправильно». Без него ошибки копятся неделю, а потом их обнаруживают все разом.
Определить границы
Что агент делает сам, что только предлагает, а что ему запрещено: называть сроки, обещать скидки, отвечать на претензии. Границы проще сузить сейчас и расширить по итогам, чем наоборот.
Неделя 1: теневой режим
В первую неделю агент работает на реальных входящих, но наружу ничего не уходит без человека. Он готовит черновик ответа или карточку разбора, сотрудник смотрит, правит и отправляет сам. Это даёт два результата сразу: клиенты не видят ошибок, а у вас копится честная статистика — какая доля черновиков ушла без правок, какая с мелкими, какая была переписана целиком.
Каждую правку стоит записывать в журнал. Достаточно таблицы из четырёх колонок: что пришло, что предложил агент, что отправили на самом деле, тип ошибки. Через неделю по журналу видно, где проблема: в базе знаний (агент не знает ответа), в инструкции (знает, но говорит не так) или в самой задаче (вопрос в принципе нельзя решить без человека).
Отдельно проверьте, что «человек в контуре» действительно стоит в коде, а не только в договорённости. Мы сами на этом обжигались: в нашем собственном аутриче отправщик обошёл гейт одобрения, и 42 сообщения ушли без подтверждения — разбор инцидента опубликован. Для пилота вывод простой: если по правилам агент «только предлагает», убедитесь, что технически он не может отправить сам.
Неделя 2: ограниченный запуск
Если по итогам первой недели большая часть черновиков уходит без правок или с мелкими, агенту можно дать самостоятельность — но не на весь поток. Варианты сузить поток:
- по типу обращения: только вопросы о доставке и графике, всё остальное — менеджеру;
- по времени: агент отвечает сам ночью и в выходные, днём продолжает готовить черновики;
- по каналу: только Telegram, а звонки и почта остаются как есть.
Во вторую неделю журнал ведётся по-прежнему, но меняется вопрос. Теперь смотрим не только на качество ответа, но и на поведение клиента: дошёл ли разговор до заявки, попросил ли клиент живого человека, вернулся ли с тем же вопросом. Владелец процесса продолжает выборочно читать диалоги — хотя бы двадцать-тридцать в день.
Неделя 3: замер и решение
Третья неделя нужна не всегда. Если поток небольшой и за две недели набралось мало обращений, её стоит взять, чтобы выводы не строились на трёх десятках случаев. Если поток большой и картина ясна — третью неделю можно потратить на доработки и повторный замер тех же метрик.
В конце пилота сравниваются цифры периода пилота с нулевым замером по тем же правилам подсчёта. Итог — короткий документ на одну-две страницы: гипотеза, критерии, что получилось, журнал типичных ошибок и рекомендация.
Что считать результатом: метрики и пороги
Ниже — шаблон, который удобно заполнить в неделю 0. Пороги в правой колонке условные: подставьте свои, исходя из нулевого замера и того, что для вас критично.
| Что проверяем | Как измерить | Пример порога (условный) |
|---|---|---|
| Качество ответов | Доля черновиков, ушедших без правок или с мелкими правками, по журналу | Большинство типовых обращений проходит без существенных правок |
| Опасные ошибки | Число случаев, когда агент обещал то, чего нет: цену, срок, наличие | Ноль за период, иначе — доработка |
| Скорость | Время первого ответа по сравнению с нулевым замером | Заметно быстрее, особенно ночью и в выходные |
| Нагрузка на команду | Сколько времени сотрудник тратит на проверку и правки | Меньше, чем уходило на ответы вручную |
| Реакция клиентов | Доля диалогов, где клиент попросил живого человека или пожаловался | Не выше, чем до пилота |
| Бизнес-эффект | Доля обращений, дошедших до заявки или оплаты | Не ниже, чем до пилота |
Обратите внимание на последнюю строку. За три недели бизнес-эффект часто не успевает проявиться в выручке — поток слишком мал, а сделки длинные. Поэтому для пилота разумная планка — «не хуже, чем было», а не «рост продаж». Рост проверяется после масштабирования, на дистанции в месяцы.
Три исхода и как выбрать между ними
| Исход | Когда | Что дальше |
|---|---|---|
| Масштабировать | Ключевые пороги пройдены, опасных ошибок нет, команда готова работать с агентом | Расширить поток или каналы, оставить выборочную проверку и ежемесячный отчёт |
| Доработать | Качество близко к порогу, ошибки системные и понятные: не хватает данных в базе знаний, неточная инструкция | Исправить причины из журнала и повторить замер на одну-две недели |
| Остановить | Ошибки случайные и не сводятся к понятным причинам, или задача требует решения человека почти в каждом случае | Зафиксировать выводы; описанный процесс и журнал пригодятся для следующей попытки или другого процесса |
Остановка — нормальный исход пилота, а не провал. Пилот для того и нужен, чтобы узнать это за три недели, а не после полного внедрения. Честный подрядчик называет этот вариант заранее; если вам его не упоминают вовсе — стоит задать вопрос. Какие ещё вопросы задать до договора, разобрано в статье «Как выбрать подрядчика по ИИ-автоматизации».
Чек-лист перед финальной встречей
- Нулевой замер и замер пилота посчитаны по одинаковым правилам.
- Журнал ошибок разобран по типам: база знаний, инструкция, задача.
- Каждая опасная ошибка разобрана отдельно: почему случилась и что не даст ей повториться.
- Владелец процесса высказал своё мнение — он видел больше диалогов, чем кто-либо.
- Понятно, что изменится при масштабировании: поток, каналы, кто проверяет.
Частые вопросы
Можно ли уложиться в одну неделю?
Собрать прототип — иногда да. Получить выводы — редко: теневой режим и самостоятельная работа дают разную картину, и за одну неделю набирается слишком мало реальных обращений. Короткий пилот обычно заканчивается тем самым «вроде работает».
Что если за время пилота пришло мало обращений?
Продлите пилот или прогоните через агента исторические обращения из CRM и мессенджеров, сравнив его ответы с тем, что отвечали сотрудники. Это не заменяет живого потока, но дополняет статистику.
Нужно ли предупреждать клиентов, что им отвечает ИИ?
В теневом режиме клиент общается с сотрудником, вопрос не возникает. Когда агент отвечает сам, честнее сказать об этом и дать понятный способ позвать человека — так меньше раздражения, когда агент чего-то не знает.
Сколько стоит пилот?
Стоимость зависит от процесса, объёма и того, в каком виде лежат данные. Первый разговор нужен как раз для этого — понять задачу и посчитать. Напишите нам, если хотите обсудить пилот на своём процессе, или посмотрите другие материалы раздела «Внедрение».