Сколько на самом деле стоит AI API: практический разбор бюджета

Один запрос пользователя может привести к нескольким обращениям к модели, вызовам инструментов или обработке изображения. Длинные ответы и повторные попытки тоже увеличивают расходы. Поэтому бюджет AI API полезно оценивать по стоимости успешно завершённой задачи: сколько сервис потратил, чтобы пользователь получил нужный результат.

Из чего складывается бюджет

Сначала проверьте, что и в каких единицах тарифицирует выбранный провайдер. Помимо платы за API, учитывайте расходы приложения, которое его использует. В предварительный бюджет включайте применимые к вашему сервису статьи:

• Входные данные: системные инструкции, история диалога, документы и текущий запрос.
• Выходные данные: ответы модели, в том числе слишком длинные или отброшенные.
• Кешированный вход: часть входных данных, оплачиваемая по отдельной ставке, если провайдер поддерживает такую тарификацию.
• Дополнительные операции: поиск, выполнение кода, обработка файлов, изображений, аудио и вызовы других инструментов.
• Инфраструктура приложения: база данных, векторный поиск, хранение, сетевой трафик, мониторинг и очереди.
• Повторные обращения: попытки после ошибок, тайм-аутов, некорректных ответов и перегенерации по просьбе пользователя.

Базовая модель расчёта

Для текстового API с оплатой за токены сложите стоимость обычного входа, кешированного входа и выхода. Для каждой части разделите объём токенов на единицу тарификации из прайс-листа и умножьте на соответствующую ставку. Затем добавьте стоимость инструментов и других платных операций.

Добавляйте стоимость повторных обращений только в том случае, если они ещё не вошли в объёмы токенов и операций. После этого прибавьте расходы на инфраструктуру. Итог можно разделить на число обращений к API и отдельно — на число успешно завершённых задач. Второй показатель помогает понять, выгодны ли дешёвые обращения, если результат часто требует новой попытки или ручной доработки.

Условный расчёт

Допустим, сервис делает 10 000 обращений к API в месяц без учёта повторов. На одно обращение приходится в среднем 1 200 входных и 300 выходных токенов. Из входа 400 токенов составляют повторяющийся контекст; в половине обращений они оплачиваются как кешированные. Примем условные ставки за миллион токенов: 2 денежные единицы для обычного входа, 0,5 — для кешированного и 8 — для выхода.

• Обычный вход: 8 млн токенов, которые не кешируются, и 2 млн токенов при промахах кеша. Всего 10 млн токенов, стоимость — 20 денежных единиц.
• Кешированный вход: 400 токенов × 5 000 обращений = 2 млн токенов. Стоимость — 1 денежная единица.
• Выход: 300 токенов × 10 000 обращений = 3 млн токенов. Стоимость — 24 денежные единицы.
• Итого за токены — 45 денежных единиц.

Если в 1 000 из этих обращений инструмент вызывается по одному разу и стоит 0,01 денежной единицы за вызов, он добавит ещё 10 денежных единиц. Предварительный итог — 55 денежных единиц до учёта повторов и инфраструктуры, включая хранение.

Что чаще всего искажает прогноз

• Средний расход скрывает дорогие обращения. Проверяйте также медиану и верхние процентили длины контекста и ответа.
• История диалога увеличивает объём входа с каждым сообщением, если приложение отправляет её целиком.
• Лимит ответа задаёт верхнюю границу, а не ожидаемый объём. Для прогноза используйте фактическую длину ответов и её разброс.
• Автоматические повторы могут превращать один пользовательский запрос в несколько платных обращений к API.
• Отправка всех задач в одну модель не учитывает различия между простыми и сложными запросами.
• Эксперименты, тесты и внутренние запросы тоже расходуют бюджет. Учитывайте их отдельно от пользовательского трафика.

Как снижать расходы и проверять качество

Начните с самой крупной статьи расходов и меняйте один фактор за раз. Для каждого изменения проверяйте, сохраняется ли качество на задачах вашего сервиса.

• Убирайте из контекста дубликаты, устаревшие сообщения и нерелевантные документы.
• Проверьте возможность кеширования, если начало контекста остаётся неизменным во многих обращениях.
• Задавайте формат и длину ответа под задачу. При сокращении проверяйте, остаётся ли ответ достаточно полным.
• Направляйте простые и сложные задачи в разные модели после проверки качества на собственном наборе примеров.
• Ограничивайте число повторов и фиксируйте причину каждого повторного вызова.
• Устанавливайте дневные и месячные лимиты по продукту, клиенту, функции и среде.
• Сравнивайте варианты по стоимости успешной задачи, доле ошибок, задержке и качеству результата.

Минимальный набор показателей

Для каждого обращения сохраняйте идентификатор модели, объём входа и выхода, попадание в кеш, число вызовов инструментов, повторы, итоговый статус и расчётную стоимость. Группировка по функциям и клиентам поможет сравнить затраты и увидеть, какая их часть приходится на повторы и неудачные обращения.

Для прогноза составьте небольшую таблицу сценариев: объём трафика, средний и высокий расход на обращение, ожидаемая доля успешных задач и применимые ставки. Сверяйте прогноз с фактическими расходами, а изменения в приложении оценивайте по их влиянию на стоимость и качество.

Для предварительной оценки воспользуйтесь нашим калькулятором стоимости AI API: https://achugunov.ru/tools/ai-api-cost