Код, изменивший мир: Google передала оригинал AlexNet в музей как символ новой эры ИИ

В 2012 году группа из трех увлеченных исследователей и ныне признанных экспертов в области искусственного интеллекта — Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон — разработала модель, которая кардинально изменила мир компьютерного зрения и открыла новую эру глубокого обучения. Процесс обучения проводился на двух видеокартах в спальне Крижевского, и в честь него модель названа AlexNet.

С тех пор архитектура AlexNet приобрела такую значимость, что ее оригинальная статья «ImageNet Classification with Deep Convolutional Neural Networks» стала одной из самых цитируемых научных работ в истории. На протяжении многих лет множество исследователей пытались воспроизвести код AlexNet по описанию в статье, однако оригинальный код авторов не был опубликован до сих пор.

Сегодня, почти через 13 лет, Google, являющийся владельцем прав на AlexNet, наконец выпустили оригинальный код нейросети. И не просто выпустили, а передали его в музей как объект исторической ценности.

Computer History Museum, который теперь хранит AlexNet, сообщил, что публикация оригинального кода не была простой задачей: его сотрудники и команда инженеров Google работали над этим (внимание!) целых 5 лет.

“Мы впервые обратились к Алексу Крижевскому в 2020 году с предложением передать исходный код AlexNet в музей CHM, учитывая его историческую важность. Алекс соединял меня с Джеффри Хинтоном, работавшим тогда в Google, ведь права на AlexNet были переданы компании после приобретения DNNresearch. Вместе с командой Google мы перепроверили и собрали оригинальную версию кода 2012 года в течение пяти лет,” — рассказывает представитель музея.

Теперь весь код доступен всем желающим на GitHub здесь.

Если вы хотите глубже разобраться в этом коде и лучше понять, как функционируют современные ChatGPT, рассуждающие модели и прочие технологии, приглашаем вас присоединиться к нашему тг-каналу Data Secrets.

Наша команда активно работающих ML-инженеров каждый день делится практическими заметками по машинному обучению, разборами актуальных исследований и подобными интересными новостями. Так что загляните: нас уже 55 тысяч, и мы всегда рады новым специалистам и энтузиастам! 🙂

Работа с этим кодом действительно дает возможность ощутить прикосновение к чему-то исторически значимому. Неудивительно: это тот самый код, который когда-то создали Нобелевский лауреат Джеффри Хинтон, основатель OpenAI Илья Суцкевер и известный исследователь Алекс Крижевский.

Однако важность AlexNet заключается не только в именах ее выдающихся создателей. Вспомним, что в 2012 году нейронные сети все еще считались чем-то экстраординарным. Именно AlexNet впервые смогла убедительно продемонстрировать, что глубокое обучение — это будущее искусственного интеллекта. Эта нейросеть впервые объединила два критически важных аспекта, которые сделали глубокое обучение успешным.

Первый из них — использование больших наборов данных, которые как раз тогда стали доступны благодаря распространению интернета. В частности, в 2009 году был создан датасет ImageNet, разработанный известной Фей-Фей Ли и ее командой, которые собрали миллионы изображений и разметили их вручную с помощью краудсорсинга.

Второй — обучение нейронных сетей на графических процессорах. Прежде их обучали преимущественно на CPU, но в начале 2010-х NVIDIA выпустила платформу CUDA, что открыло новую эру доступного GPU-программирования.

Все эти факторы соединились в 2012 году, когда аспиранты Джеффри Хинтона — Алекс Крижевский и Илья Суцкевер — объединили нейронные сети, большие объемы данных и GPU в одном проекте. Суцкевер верил, что эффективность нейросетей будет зависеть от объема доступных данных, и появление ImageNet позволило проверить эту гипотезу. Он предложил Крижевскому, который уже имел опыт оптимизации сетей на GPU, заняться проектом под руководством Хинтона, и тот согласился.

Работа велась в спальне Крижевского, где на двух видеокартах NVIDIA на протяжении целого года проходила непрерывная тренировка и настройка гиперпараметров сети. Результат оказался впечатляющим: AlexNet значительно превзошла конкурентов на соревнованиях ImageNet 2012, навсегда изменив траекторию развития искусственного интеллекта.

Известный ученый и один из основоположников ИИ Ян ЛеКун в то время уже отметил, что этот момент является переломным. И он оказался совершенно прав: до появления AlexNet нейронные сети почти не фигурировали в ключевых научных работах, а после ее успеха они заняли ведущее место в индустрии, что положило начало тому, что мы сегодня знаем о нейросетях, способных обыгрывать чемпионов мира по шахматам, чат-ботах и системах компьютерного зрения.