Революционный метод Zoom Communications: Как новая технология CoD сокращает затраты и упрощает внедрение ИИ

Группа ученых из Zoom Communications создала инновационную технологию, которая способна существенно уменьшить затраты и вычислительные возможности, необходимые системам ИИ для решения сложных задач, что может существенно изменить стратегию компаний по массовому внедрению ИИ.

Этот метод, получивший название цепь черновиков (CoD), позволяет большим языковым моделям (LLM) выполнять задачи, используя минимальный объем текста — всего 7,6% от объема, необходимого современным подходам, не жертвуя при этом точностью. Исследования были опубликованы на прошлой неделе в репозитории arXiv.

«Сокращая количество слов и акцентируя внимание на ключевых идеях, CoD достигает той же точности, что и CoT (цепочка рассуждений), но при использовании лишь 7,6% токенов, что значительно снижает затраты и время на выполнение различных логических задач», — отмечают авторы во главе с Силей Сюй, исследователем из Zoom.

CoD вдохновлен тем, как люди разбираются со сложными задачами. Вместо того чтобы рассказывать о каждой детали при решении математической задачи или логической головоломки, люди обычно записывают только основные моменты в кратком виде.

«При решении сложных задач, таких как математика, написание эссе или программирование, мы часто фиксируем только важные сведения, которые помогают нам двигаться вперед, — комментируют исследователи. — Подражая этому процессу, LLM могут сосредоточиться на поиске решений без избыточного размышления».

Команда протестировала свой метод на различных контрольных заданиях, включая арифметические вычисления (GSM8k), рассуждения на основе здравого смысла (например, понимание дат и спортивных событий) и символические вычисления (задачи с подбрасыванием монетки).

В одном из примеров, когда Claude 3.5 Sonnet обрабатывал спортивные вопросы, применение CoD уменьшило среднее количество символов с 189,4 до 14,3 (на 92,4%), одновременно улучшив точность с 93,2% до 97,3%.

«Для компании, которая обрабатывает 1 миллион логических запросов в месяц, CoD может снизить затраты с 3800 долларов (CoT) до 760 долларов, сэкономив более 3000 долларов ежемесячно», — указывает исследователь в области ИИ Аджит Валлат Прабхакар в своем анализе.

Данное исследование актуально для внедрения ИИ в бизнесе. С увеличением интеграции сложных ИИ-систем, затраты на вычисления и время отклика становятся серьезными барьерами для массового применения.

Современные методы логического вывода, такие как (CoT), которые появились в 2022 году, существенно повысили способности ИИ в решении сложных задач путем декомпозиции на последовательные этапы. Однако этот подход приводит к длительным объяснениям, которые требуют больших вычислительных ресурсов и времени.

«Избыточность запросов CoT создает значительные вычислительные нагрузки, увеличивает задержку и требует больше средств», — пишет Прабхакар.

Что делает CoD особенно заманчивым для бизнеса, так это его простота в реализации. В отличие от других новшества в ИИ, которые требуют дорогого переобучения моделей или изменений в архитектуре, CoD можно сразу внедрить с помощью уже работающих моделей с незначительными изменениями.

«Организации, уже применяющие CoT, могут легко перейти на CoD, внося небольшие коррективы в запросы», — поясняет Прабхакар.

Метод может быть особенно полезен для приложений, требующих быстрой реакции, таких как службы клиентской поддержки, мобильные ИИ, образовательные инструменты и финансовые сервисы, где даже небольшие замедления могут значительно повлиять на качество обслуживания.

Тем не менее, эксперты утверждают, что последствия внедрения CoD выходят за рамки экономии средств. Упрощая доступ к современным алгоритмам ИИ, эта методология может демократизировать продвинутые возможности ИИ для малых предприятий и организаций с ограниченными ресурсами.

В условиях быстрого развития ИИ, такие методы, как CoD, все больше обращают внимание не только на функциональные возможности, но и на эффективность. Для организаций, действующих в стремительно меняющейся среде ИИ, такая оптимизация может быть так же ценна, как и улучшение исходных моделей.

«С повышением качества моделей ИИ, оптимизация эффективности будет столь же важна, как и усовершенствование их базовых возможностей», — подытожил Прабхакар.

Исследовательские коды и данные доступны на GitHub, что позволяет организациям внедрять и проверять этот подход в своих ИИ-системах.

Источник