Экономика LLM: как мы режем счёт за ИИ в продакшене

Когда AI-агент выходит из пилота в работу, первый сюрприз обычно не в качестве, а в счёте. Агент отвечает правильно, но каждый день стоит в несколько раз дороже, чем закладывали. Мы прошли через это на собственных проектах — AI-продажах, AI-контроле отдела продаж, помощнике инженера сертификации — и собрали рычаги, которые реально работают. Все цифры ниже — замеры с боевых систем.

Сколько вообще стоит внедрение и из чего складывается ежемесячный расход на модели, мы разбирали в статье «Сколько стоит внедрение ИИ в бизнес». Здесь — о том, как этот расход снизить, когда система уже работает.

1. Не отправляйте весь справочник в каждый запрос

Самая дорогая ошибка оказалась самой простой. Один бот давал 83% всех затрат на ИИ в проекте. Причина: в каждый запрос уходил прайс-лист целиком — 507 строк, около 280 тысяч токенов. Сам промпт бота при этом занимал всего 5 тысяч токенов, дело было не в нём.

Решение — перед вызовом модели найти в прайсе подходящие строки и отправить только их, до 50 штук. Поиск работает по основам слов и артикулам, без нейросети. Расход на ценовых вопросах упал на 85–99%. То же правило касается истории переписки: старые письма мы обрезаем, HTML чистим, а на объём истории звонков, писем и чатов стоит потолок — у одного клиента набиралось 129 тысяч символов.

2. Включите кэш промпта

У агента, который проверяет работу менеджеров, неизменная часть запроса — инструкция и описания инструментов — весила около 54 тысяч токенов. Описания инструментов оказались длиннее самой инструкции. Всё это оплачивалось заново на каждой проверке, и однажды дневной расход вырос в несколько раз против обычного.

После включения кэша повторный вызов с попаданием в кэш стал стоить в 9 раз дешевле. В AI-чате по данным CRM тот же приём снизил стоимость шага почти в 7 раз. Важная деталь: кэшировать нужно только неизменную часть. Если положить в кэш прайс или результаты поиска, которые меняются от запроса к запросу, вы будете платить наценку за запись в кэш и не получать попаданий.

3. Выбирайте провайдера по замеру, а не по прайсу

Одну и ту же открытую модель продают десятки провайдеров. У одной популярной модели мы насчитали 18 провайдеров с разбросом цены в 7 раз. Но важнее даже не цена за токен, а то, работает ли у провайдера кэш.

Два провайдера с одинаковым прайсом на одинаковом запросе: первый закэшировал 92% токенов, второй — ноль, и вызов у него вышел в 6 раз дороже. Прямой провайдер модели дал 100% попаданий в кэш — вызов подешевел в 15 раз и заодно стал быстрее. В итоге стоимость одной проверки у AI-руководителя продаж снизилась почти в 6 раз. Вывод: цены провайдеров меняются за дни, поэтому их нельзя «зашить» один раз — расход нужно проверять по фактическим счетам.

4. Дешёвая модель — для рутины, сильная — там, где ошибка дорогая

Перевод документов на флагманской модели обходился в десятки раз дороже, чем на быстрой модели того же качества для этой задачи, — перевели. А вот обратный пример: на сложном вопросе по техническим регламентам облегчённая модель дала верный ответ в 3 случаях из 6, а модель классом выше — в 6 из 6. Её токены дороже, но ошибка в коммерческом предложении — это сертификат вместо декларации и потерянный клиент.

Когда мы сравнивали 8 моделей на одной задаче, три дешёвые ошиблись, а одна выдумала номер регламента. Поэтому «перейти на модель подешевле» без собственного набора проверочных вопросов — лотерея. Сначала тесты на ваших реальных данных, потом выбор.

5. Ограничьте «размышления» модели

Современные модели умеют «думать» перед ответом — и оплачиваются эти размышления как обычный текст. На проверке лидов три четверти выходных токенов уходили на раздумья. Без них проверка стала почти в 3 раза дешевле и в 4 раза быстрее, а качество не ухудшилось.

Бывает и хуже: на генерации скрипта звонка модель потратила на размышления весь лимит в 16 тысяч токенов и вернула пустой ответ — деньги ушли, результата нет. А один из провайдеров просто игнорировал флаг «не размышлять». Проверять нужно не настройку, а фактический отчёт о том, на что ушли токены.

6. Не вызывайте модель, когда нечего решать

Почтовый агент каждую минуту проверял ящик и каждый раз отправлял модели одну и ту же переписку — 60 платных вызовов в час впустую. Теперь код сравнивает «отпечаток» состояния: если ничего не изменилось, модель не вызывается вовсе. То же с закрытыми сделками: перевести лид в финальную стадию может обычный код, на это не нужно тратить ни одного токена.

7. Расшифровка звонков: не платите дважды

Расшифровка звонков — один из крупных пунктов расхода в системах контроля продаж. За неделю у нас набралось около 3 000 платных вызовов расшифровки при примерно 1 000 состоявшихся звонков: разные агенты расшифровывали одни и те же записи. После общей очереди и записи расшифровки в CRM каждый звонок оплачивается один раз.

Второй вариант — своя модель распознавания речи на сервере клиента: внешних платежей нет, но обработка идёт дольше. Мы оставляем этот выбор клиенту и сознательно не делаем автоматического перехода на платную модель — иначе о нём узнали бы только из счёта.

8. Считайте стоимость каждого агента

Все находки выше мы сделали потому, что видим расход по каждому агенту, пользователю и операции, а не одной строкой в счёте провайдера. Это же мы даём клиентам: стоимость в рублях по каждому агенту за день, неделю и месяц, лимиты бюджета и предупреждение заранее. Для ориентира: проверка одного лида AI-руководителем продаж на подобранной модели и провайдере стоит около цента — меньше рубля.

Чек-лист перед запуском агента

• В запрос уходят только нужные данные, а не справочник целиком; у истории переписки есть потолок.
• Неизменная часть запроса кэшируется, изменчивая — нет.
• Провайдер выбран по замеру стоимости и попаданий в кэш, а не по прайсу.
• Модель подобрана под задачу на ваших проверочных вопросах.
• «Размышления» выключены там, где не нужны, и это проверено по фактическому расходу.
• Код не вызывает модель, когда решать нечего.
• Расход виден по каждому агенту и операции, есть лимиты и предупреждения.