«GPT-4.5: Новая веха в безграничном масштабировании AI от OpenAI»

OpenAI представила свою крупнейшую на данный момент языковую модель под названием GPT 4.5. По словам Марка Чена, главного научного сотрудника компании, эта модель доказывает, что возможности масштабирования искусственного интеллекта еще далеки от своего максимума.

На днях OpenAI анонсировала новую языковую модель GPT 4.5, заявив, что это их самая крупная и мощная чат-модель. В первую очередь она будет доступна пользователям Pro, а затем и пользователям Plus, Enterprise, Team и Edu в следующие недели.

Чен считает, что GPT 4.5 отвечает на сомнения критиков, которые брались под вопрос о возможности дальнейшего прогресса в создании более крупных моделей.

«GPT 4.5 — это реальное свидетельство того, что мы можем продолжать расширение масштабов», — отметил Чен в беседе. «Она представляет собой шаг к следующему уровню развития».

Отвечая на вопрос о том, почему модель не названа GPT-5, Чен разъяснил, что OpenAI придерживается определенной схемы именования. С предсказуемым масштабированием, таким как переход от GPT-3 к GPT-3.5, компания в состоянии оценивать, какие улучшения будут возможны с увеличением вычислительных ресурсов и эффективностью. Новая модель отвечает ожиданиям, связанным с GPT 4.5.

Чен отметил, что OpenAI теперь может масштабироваться по двум осям. «GPT 4.5 — это наш последний эксперимент в области неконтролируемого обучения, но также подразумевается и работа над размышлениями», — подчеркнул он.

Чен объясняет более продолжительный процесс разработки между GPT-4 и 4.5 фокусом компании на создании парадигмы рассуждений.

Эти два подхода дополняют друг друга: «Необходимы знания для того, чтобы строить рассуждения на их основе. Модель не может просто взять и изучить рассуждения в пустоту», — уточнил Чен. Эти парадигмы взаимно усиливают друг друга, создавая замкнутые циклы обратной связи.

Чен упомянул, что GPT 4.5 «интеллектуальна» по-другому, чем модели, ориентированные на рассуждения, обладая значительно большим объемом знаний о мире. По сравнению с GPT-4 пользователи отдали предпочтение новой модели для повседневных задач на 60%. Показатель для более сложной интеллектуальной работы достигает почти 70%.

Что касается возможных пределов масштабирования, Чен был откровенен: «Мы наблюдаем те же результаты. GPT 4.5 — это следующий этап в парадигме неконтролируемого обучения». Он пояснил, что OpenAI использует строгий подход, основываясь на данных всех ранее обученных моделей для формирования прогнозов производительности.

Кроме традиционных бенчмарков, где GPT 4.5 демонстрирует схожие улучшения, сравнимые с переходом от GPT-3.5 к GPT-4, Чен указал на новые возможности модели, в том числе создание ASCII-арта — задачи, с которой предыдущие модели часто не справлялись.

Чен также опроверг слухи о том, что разработка GPT 4.5 была особенно трудной. «Создание всех наших базовых моделей является экспериментальным процессом. Это часто означает временные остановки для анализа и повторного запуска, но это не характерно для GPT 4.5», — пояснил он, добавив, что аналогичные подходы использовались и в разработке GPT-4 и O-серии.

Тем не менее, примечательно, что более компактная модель Claude 3.7 Sonnet от Anthropic в различных аспектах превосходит GPT-4.5, что создает впечатление относительной устаревшей модели, особенно учитывая, что данные для нее были собраны только в октябре 2023 года. Одной из вероятных причин этого является приток прогресса в области синтетических данных с 2023 года.