Риски внедрения ИИ: что ломается и как увидеть заранее

Короткий ответ: главные риски внедрения не фантастические. Машина из-под контроля не выходит, проблемы куда приземлённее. Агент уверенно выдумывает факты. Получив права на действия, он делает лишнее. Деньги по счётчику утекают незаметно. На длинной задаче он забывает начало и противоречит себе. А плохо работает чаще не модель, а расплывчатое задание. И самый частый провал внедрения вообще не технический: остаться с красивой демонстрацией, которая не повторяется на ваших данных.

Пишу это для владельца обычного бизнеса, который слышал про ИИ-агентов отовсюду и прикидывает, заводить или нет. Вы не хотите заплатить за красивую картинку и остаться с игрушкой. Правильный страх. Ниже я разбираю риски по одному: где каждый бьёт, по какому признаку его видно заранее и чем он ограничивается. В конце дам короткую проверку на неделю и разделю риски на те, что лечатся настройкой, и те, что означают стоп.

Если хотите сразу приложить к своему делу, держите в голове одну картину. ИИ-агент получает задачу словами и сам решает, что делать дальше. Шаг за шагом, пока не сделает или не упрётся. Почти все риски растут именно из этого «сам решает».

Почему главный риск внедрения не технический

Начну с риска, который стоит дороже всех остальных вместе, а в списках «10 опасностей ИИ» его обычно нет. Это красивая демонстрация.

Вам показывают агента на подобранном примере. Он красиво уточнил, собрал, ответил, свёл в отчёт. Выглядит как готовое решение. Но демонстрация показывает один удачный проход на удобных данных. А рабочий агент должен повторять то же самое каждый день на ваших настоящих данных. С опечатками, пустыми полями, странными формулировками клиентов и редкими случаями, которых в демонстрации не было.

Вот тут и всплывает природа агента. Он ведёт задачу сам, пока не сделает или не упрётся. На отобранном примере он идёт гладко. А стоит пустить его на ваш живой поток, и он упирается там, где демонстрация этого не показывала. Поэтому главный риск внедрения другой: вы купили проход, который не повторяется.

Демонстрация показывает один проход, рабочий агент обязан повторять его на живом потоке.

Отсюда простое правило, к которому я ещё вернусь: не верьте проходу, верьте повтору. Как агент выглядит в настоящей ежедневной работе, я отдельно разобрал в тексте как работает ИИ-агент: что видно после второй недели. Если прикидываете внедрение, разобрать вашу задачу можно по короткой анкете: это помогает заранее увидеть, где у вас будет повтор, а где одноразовый фокус.

Риск первый: агент уверенно выдумывает

Самое неприятное свойство машины: выдумка. Это уверенно сказанная неправда: число, ссылка или цитата, которых не было. Она опаснее обычной ошибки, потому что выглядит как факт. Нет пометки «я не уверен». Есть ровный, спокойный ответ, в котором половина правда, а одна цифра придумана.

Пока агент просто разговаривает, это терпимо. Беда начинается, когда у него есть доступ к инструменту, то есть право реально что-то сделать. Тогда выдуманное число уходит в документ клиенту, в счёт, в отчёт, в письмо. Ошибка выглядит как факт и уходит наружу, где её уже читает заказчик.

Чинит это замок, а умная модель тут не помогает. Замок простой: факты, числа и обещания агент берёт только из ваших данных, из вашей базы и прайса. Чего там нет, он не придумывает, а передаёт человеку с пометкой «не нашёл, нужно решение». Выдумку это не убирает совсем, но убирает её из тех мест, где она стоит дорого. Как такая граница выглядит на деле, видно в разборе ИИ-агент для отчётов: где надёжен, а где пустая цифра.

Замок разводит два случая: что есть в ваших данных - агент делает сам, чего нет - отдаёт человеку.

Риск второй: лишние права и лишние действия

Второй риск прямо из первого. Доступ к инструменту - это право агента открыть сайт, записать файл, отправить письмо. Без доступов он только разговаривает. С доступами он действует. И вот здесь важно, сколько прав вы ему дали.

Одна из частых ошибок на внедрении - агенту сразу выдают все права, чтобы «не возиться потом». Право писать в базу, рассылать клиентам, менять записи, трогать деньги. А дальше достаточно одной выдумки или одного кривого шага, чтобы лишнее действие ушло в реальный мир. Не из-за злого умысла машины, а потому что ей дали дверь, которую не надо было открывать.

Правило обратное привычному: прав ровно столько, сколько нужно задаче, и ни одним больше. Сначала агент только читает и предлагает, человек подтверждает. Потом, когда вы видите, что на вашем потоке он не ошибается, часть подтверждений снимаете. Это тот же замок, но со стороны действий: агент берёт данные только из ваших источников и делает только то, на что ему явно дали право.

Риск третий: деньги по счётчику утекают незаметно

Теперь про деньги, потому что тут теряют тихо и помногу. За машину платят двумя способами: помесячно за объём или по факту за каждый ход. Деньги утекают почти всегда на втором.

Чтобы понять почему, нужно слово ход. Ход - это один шаг агента: подумал, сделал одно действие, посмотрел, что вышло. Из ходов складывается вся работа и вся её цена. Агент, который «сам решает, что делать дальше», на сложной задаче может сделать не три шага, а тридцать. Каждый шаг - деньги. На демонстрации задача простая, ходов мало, цена смешная. А в вашем потоке задача путается, агент крутится, ходов становится в разы больше, и счёт растёт так, что замечаешь его только в конце месяца.

Лечится это счётом заранее. До внедрения прикидывают, сколько ходов съедает одна типичная задача, и ставят потолок: больше стольких-то шагов - агент останавливается и зовёт человека. Это же помогает выбрать способ оплаты: ровный поток однотипных задач дешевле держать на помесячной оплате, редкие и разные - по факту. За что именно идут деньги при внедрении, я разложил в тексте внедрение ИИ под ключ: что вы покупаете за эти деньги.

Риск четвёртый: агент забывает и противоречит себе

У машины есть окно памяти: сколько она держит в голове за раз. Когда оно кончается, она забывает начало разговора и начинает противоречить себе.

На короткой задаче вы этого не заметите. Риск вылезает на длинной: агент ведёт большой разбор, долгую переписку с клиентом, обработку документа на много страниц. К концу он уже не помнит, что сам сказал вначале. Отсюда ответы, которые спорят друг с другом, условия, которые поменялись на ходу, итог, который не сходится с серединой.

Правило простое: длинную задачу не отдают агенту одним куском. Её режут на короткие шаги, у каждого свой понятный вход и выход, и между шагами человек или простая проверка смотрит, что получилось. Так окно памяти не успевает кончиться на одном шаге, а если агент где-то поплыл, это видно сразу, а не в итоговом документе.

Риск пятый: плохо работает задание, а не модель

Это риск, на котором теряют время и деньги чаще всего, потому что лечат не то. Агент работает плохо, и первая мысль: «модель слабая, нужна подороже». Меняют модель, платят больше, толку мало.

А дело обычно в задании модели. Это текст, которым человек объясняет машине, что от неё нужно. Плохое задание - главная причина плохой работы, а не «слабая модель». Если вы написали агенту размыто («обрабатывай заявки нормально»), он и будет работать размыто: каждый раз по-своему, угадывая, что вы имели в виду.

Поэтому прежде чем менять модель на более дорогую, проверяют задание. В нём должно быть сказано ясно: что считать хорошим результатом, откуда брать факты, что делать в непонятном случае, когда звать человека. Хорошее задание чинит больше, чем смена модели, и стоит ноль. Это же объясняет следующий риск: задание нужно не написать один раз, а править по ходу.

Риск, который виден только через месяц

Все риски выше видно довольно быстро. Есть один, который вылезает не на старте, а через месяц, и потому самый обидный: агента внедрили и бросили.

Выглядит это так. Запустили, в первую неделю всё неплохо, занялись другими делами. А у агента нет владельца внутри компании. Никто не смотрит на его работу, никто не правит задание под новые случаи, никто не замечает, что поток изменился, а агент работает по-старому. Он не ломается громко. Он тихо делает всё хуже: чуть больше выдумок, чуть больше лишних ходов, чуть больше ответов, которые клиент уже не понимает. Через месяц это заметный минус, а причину найти трудно, потому что «вроде же работал».

Лечится это не техникой, а решением на старте: у агента есть конкретный человек, который за него отвечает и раз в неделю смотрит на его работу. Как устроен этот первый месяц по неделям, я расписал в тексте внедрение ИИ-агентов: как проходит первый месяц.

Сюда же отдельный риск, про который забывают в азарте: куда уходят данные клиентов и кто их хранит. Если агент работает через чужой сервис, ваши данные уходят туда. Это решают до того, как агент получит к ним доступ, а не после первой утечки. Какие данные вообще можно отдавать наружу, какие обезличивают, а какие держат только у себя.

Как увидеть риски заранее: проверка на неделю

Почти всё выше видно заранее, если не сразу внедрять, а сначала проверить на узком куске. Это дешевле любой демонстрации и честнее её. Порядок такой:

1. Возьмите один узкий повторяющийся кусок работы, а не «весь отдел». Такой, который делается каждый день примерно одинаково.
2. Прогоните агента на реальных, но неопасных данных: прошлые заявки, старые документы, обезличенные примеры. Не на отобранных, а на обычных, с мусором и пустыми полями.
3. Поставьте замок сразу: факты и числа только из ваших данных, чего нет - передаёт человеку. Прав дайте минимум, действия сначала через подтверждение.
4. Считайте ходы. Сколько шагов уходит на одну задачу, где агент крутится впустую, во сколько это встанет на вашем объёме.
5. Назначьте человека, который за эту неделю смотрит на работу агента и правит задание.

За неделю такой пробы вы увидите свои риски в цифрах, а не в страхах, не завязывая на агента реальную работу. Если хотите, чтобы я заранее показал, где в вашем деле будет повтор, а где одноразовый фокус, разобрать задачу можно по короткой анкете.

Когда риск - это настройка, а когда стоп

Под конец главное различение, которое снимает половину страха. Риски бывают двух видов.

Управляемая настройка. Выдумка, лишние права, счётчик, память - это не причины отказаться от агента. Это параметры, которые настраивают: замок на источники фактов, минимум прав и подтверждения, потолок ходов, разбивка длинной задачи на шаги. Это как техника безопасности на станке: повод включить его правильно, а не повод к нему не подходить.

Стоп. А есть задачи, где риск настройкой не снимается, и тогда агента туда не ставят. Это места, где нужно решение, за которое отвечает человек. Что ответить в спорной ситуации с клиентом, куда вложить деньги, кого взять на работу, как поступить в новом случае. Здесь агент может подготовить материал, но решение остаётся за вами. Отдать такое машине - уже не риск, а ошибка.

Так риск перестаёт быть поводом тянуть. Он становится списком того, что вы включаете перед запуском и проверяете за неделю. А то, что в колонке «стоп», вы просто оставляете себе.

Источники

Не хотите разбираться в рисках в одиночку - начните с малого. Разобрать вашу задачу можно за четыре вопроса и получить карту: где ИИ-агент снимет работу, а где принесёт пустую цифру.