LG U+ намерена сократить затраты на ИИ для бизнеса за счёт оптимизации токенов

LG U+ намерена снизить расходы компаний на использование искусственного интеллекта (ИИ), оптимизируя весь процесс — от выбора модели и чипа до организации работы сервиса. Компания планирует использовать данные, накопленные при работе реальных сервисов, включая Ixio и контакт-центр на базе ИИ (AICC), и с будущего года активнее развивать направление корпоративных решений на рынке B2B.

LG U+ сообщила, что представила технологии снижения затрат на встрече, посвящённой оптимизации токенов, которая прошла 12-го числа в её штаб-квартире в районе Ёнсан в Сеуле. По мере распространения генеративного ИИ и ИИ-агентов для компаний всё важнее становится сокращение числа используемых токенов и связанных с ними расходов. Модель обрабатывает запрос и формирует ответ, разбивая текст на небольшие единицы — токены. Поэтому их количество напрямую влияет на затраты компании.

LG U+ стремится не просто снизить стоимость одного токена, а уменьшить общие расходы на выполнение задачи. Если выбирать только менее дорогие, но слабые модели, ИИ может не справиться с работой с первого раза и потратить больше токенов на повторные попытки. «Главное — насколько можно снизить расходы, сохранив качество», — пояснила Ли Хе Джин, отвечающая в LG U+ за технологическую стратегию. По её словам, повышение успешности выполнения задач и сокращение затрат на неудачные попытки тоже помогают уменьшить расходы на токены.

Подбор модели и проверка на действующих сервисах

Одна из стратегий компании — маршрутизация запросов, то есть выбор модели с учётом сложности вопроса и характера задачи. Простые задачи поручают небольшой модели, а для сложных рассуждений подключают более мощную. Чтобы повысить точность такого выбора, LG U+ сравнивает качество ответов большой и малой моделей на одни и те же запросы и накапливает от десятков тысяч до сотен тысяч примеров.

Компания заявляет, что проверяла эти технологии на сервисе Ixio, в AICC и при внедрении ИИ внутри самой компании. Ixio использует собственную модель LG U+, EXAONE от LG AI Research и Gemini от Google. По мере развития сервиса доля задач, обрабатываемых собственной моделью, выросла, а трафик внешних моделей сократился. Для сложных задач при этом по-прежнему могут одновременно использоваться несколько моделей.

Экономия зависит от задачи. В одном случае применение собственной модели в агенте для программирования позволило сократить эксплуатационные расходы более чем на 90% по сравнению с прежней моделью. Во внутренних испытаниях с маршрутизацией стоимость обработки обычных запросов снизилась более чем на 25%, а расходы на агента для программирования — более чем на 30%. «Экономия различается в зависимости от выполняемой задачи, а также от того, как именно пользуется решением заказчик, поэтому назвать единую цифру сложно», — отметил Ли Сан Ёп, технический директор LG U+.

Чипы и более компактные модели

Компания также подбирает вычислительные чипы в зависимости от этапа работы. Она разделяет обработку запроса, или префилл (Prefill), и генерацию ответа, или декодирование (Decoding), и использует для этих этапов графические процессоры (GPU) Nvidia и AMD.

Для лёгких моделей LG U+ проверяет возможность применять нейропроцессоры (NPU). Вместо зависимости от одного типа GPU компания намерена сочетать чипы, подходящие для разных задач, чтобы снизить расходы на эксплуатацию ИИ-инфраструктуры.

LG U+ также уменьшила размер собственной модели для работы на устройстве: с 3 ГБ до примерно 800 МБ. При этом, по данным компании, её производительность составляет более 95% от показателя облачной модели, с которой проводилось сравнение.

С будущего года LG U+ планирует расширять применение этих технологий в B2B-направлении. Компания намерена как предоставлять услуги совместно с партнёрами, так и создавать собственные системы для корпоративных клиентов.