Илья Суцкевер: конец эпохи масштабирования ИИ
Искусственный интеллект, еще недавно казавшийся чистой научной фантастикой, переживает удивительный период. Согласно одному из ведущих экспертов в области ИИ, сооснователю OpenAI и SSI Илье Суцкеверу, отрасль стоит на пороге важнейших перемен: эра простого «масштабирования» (Scaling) уступает место эре фундаментальных исследований.
В этой статье мы разбираем, что означает этот переход, почему современные ИИ-модели, несмотря на высокие оценки, не оправдывают ожиданий в экономике, и как выглядит путь к безопасному сверхинтеллекту.
От эпохи масштабирования к эпохе исследований: смена парадигмы в ИИ
Начиная примерно с 2020 года и до 2025 года, индустрия ИИ находилась в «Эпохе Масштабирования». Этот термин стал мощным стимулом, сообщающим, что нужно делать: увеличивать масштаб.
Масштабирование опиралось на четкий рецепт: смешайте вычислительные мощности (compute), данные и нейронную сеть определенного размера — и вы получите результат. Главное прозрение «предобучения» (pre-training) заключалось в том, что этот рецепт работает, и его улучшение происходит при простом наращивании масштаба. Компании любили этот подход, поскольку он давал низкорисковый способ инвестирования.
Однако теперь масштаб стал настолько велик, что возникает вопрос, принесет ли 100-кратное увеличение масштаба трансформационные изменения. Суцкевер полагает, что нет.
На данный момент масштаб настолько велик… что вера в то, что, если бы у вас было в 100 раз больше всего, все бы изменилось, я не думаю, что это правда. Так что это снова возвращение к эпохе исследований, но уже с большими компьютерами
Таким образом, если период 2012–2020 годов был Эпохой Исследований, а 2020–2025 годов — Эпохой Масштабирования, то сейчас ИИ-сообщество вновь входит в Эпоху Исследований.
Ключевая проблема: недостаточная обобщающая способность моделей
Одним из самых запутанных аспектов современных ИИ-моделей является разрыв между их высокой производительностью на оценочных тестах (evals) и их реальным экономическим эффектом или производительностью в реальном мире.
Модели отлично справляются со сложными тестами, но при этом демонстрируют странные, даже базовые ошибки, которые человек никогда бы не допустил. Например, в процессе исправления ошибки в коде модель может исправить первый баг и тут же создать второй. При попытке исправить второй баг, она может вернуть первый.
Илья Суцкевер считает, что фундаментальная проблема заключается в том, что эти модели обобщают (generalize) драматически хуже, чем люди. Это кажется наиболее важным и фундаментальным вопросом.
Переобучение на тестах и аналогия с программистами
Почему ИИ-модели так плохо обобщают? Возможно, причина кроется в самом процессе обучения, который стал слишком сфокусированным на достижении результатов в конкретных оценочных средах (evals). Исследователи, желая, чтобы их модель показала отличные результаты при выпуске, берут за основу тесты и создают тренировочные среды, вдохновленные этими тестами.
Мне нравится идея о том, что настоящими хакерами вознаграждения (reward hacking) являются исследователи-люди, которые слишком зациклены на оценочных тестах
Чтобы объяснить этот феномен, Суцкевер приводит человеческую аналогию с соревновательным программированием: ** Студент 1 (Подобно ИИ):** практикуется 10 000 часов, чтобы стать лучшим в соревновательном программировании, запоминая все алгоритмы и техники доказательств. Он становится лучшим, но его тренировки крайне узки.
Студент 2 (Подобно человеку с «Искрой»): практикуется всего 100 часов, но тоже показывает себя очень хорошо.
Студент 2, вероятно, добьется большего успеха в дальнейшей карьере, поскольку его подготовка лучше обобщается на другие задачи. Современные модели, обученные на максимально возможном количестве проблем и их аугментаций (увеличенных наборов данных), подобны Студенту 1 — они прекрасно справляются с узкой задачей, но с трудом переносят навыки на что-то новое.
Роль функции ценности и эмоций в обучении ИИ
Если мы говорим о возвращении к исследованиям, одной из областей для повышения эффективности является функция ценности (Value Function), используемая в обучении с подкреплением (Reinforcement Learning, RL).
Объяснение функции ценности («на пальцах»)
В настоящее время наивное RL (то, как, по-видимому, делаются такие модели, как O1 R1) работает так: модель выполняет тысячи действий или шагов, а сигнал для обучения подается только после того, как решение найдено. Если задача долгая, то обучение не происходит вообще, пока не будет предложено решение.
Функция ценности — это инструмент, который позволяет модели не ждать конечного результата. Это как внутренний судья: она может сказать, хорошо или плохо модель действует, даже если задача еще не решена.
Пример: Если вы играете в шахматы и теряете фигуру, вы знаете, что это плохой ход, не доигрывая всю партию. Функция ценности позволяет модели «сократить» ожидание до самого конца. Если после 1000 шагов рассуждений модель понимает, что выбранное направление неперспективно, она может получить сигнал о вознаграждении сразу, а не после провала в конце
Суцкевер ожидает, что функции ценности будут активно использоваться в будущем для более продуктивного расходования ресурсов при обучении.
Эмоции как Эволюционная Функция Ценности
Идея функции ценности приводит к аналогии с человеческими эмоциями.
Суцкевер приводит пример из неврологии: человек с повреждением центра эмоциональной обработки мозга, оставаясь артикулированным и способным решать головоломки, становился чрезвычайно неспособным принимать даже простые решения (например, какие носки надеть).
Это наблюдение говорит о том, что человеческие эмоции, закодированные эволюцией, модулируют нашу функцию ценности.
Эмоции относительно просты, но именно их простота дает им робастность (устойчивость) в очень широком диапазоне ситуаций. Они служат нам хорошо, даже несмотря на то, что эволюционировали миллионы лет назад. Возможно, эта «встроенная» эволюцией ценностная функция критически важна для человека, чтобы быть эффективным агентом в мире.
Путь к cверхинтеллекту: непрерывное обучение и проблема выравнивания (alignment)
В конечном счете, целью исследований является создание Сверхинтеллекта. Илья Суцкевер подчеркивает, что этот процесс будет связан с принципом непрерывного обучения (continual learning).
Концепция AGI: почему человек — не AGI, а учащийся агент
Сам термин AGI (Artificial General Intelligence — Искусственный общий интеллект), по мнению Суцкевера, возник как реакция на «узкий ИИ» (Narrow AI), способный только играть в шахматы или выполнять другие узкие задачи.
Традиционно AGI подразумевает, что модель «может выполнять любую задачу, которую может выполнить человек». Однако если задуматься, человек сам по себе не является AGI. Человеку не хватает огромного объема знаний, и он полагается на непрерывное обучение.
Таким образом, Сверхинтеллект — это не некий законченный разум, который знает, как выполнять каждую работу в экономике с первого дня, а разум, который может быстро научиться выполнять любую работу. После развертывания такие агенты будут продолжать обучаться на рабочем месте. Это приведет к очень быстрому экономическому росту, поскольку один модель или множество ее экземпляров смогут выполнять все работы в экономике, постоянно объединяя полученные знания.
Стратегия SSI: Исследования, а не «Крысиные Бега»
Компания SSI, сооснователем которой является Суцкевер, была создана, чтобы сосредоточиться на этих фундаментальных исследованиях идей.
SSI намеренно изолируется от «крысиных бегов» рынка и конкуренции, чтобы сосредоточиться на разработке безопасного сверхинтеллекта. Суцкевер считает, что, хотя конкуренты (OpenAI, Anthropic) тратят огромные средства, значительная часть их бюджета идет на инференс (работу с пользователями) и продуктовые функции. Оставшаяся доля для фундаментальных исследований становится более сопоставимой с ресурсами SSI.
Главное отличие SSI — это технический подход, сосредоточенный на понимании обобщения.
Целью является создание ИИ, который:
Будет «выровнен» (aligned), то есть действовать в соответствии с человеческими ценностями.
Будет заботиться о разумной жизни (sentient life). Суцкевер полагает, что такое ИИ, возможно, будет легче создать, чем ИИ, заботящийся только о человеческой жизни, поскольку ИИ сам по себе, вероятно, будет разумным.
Важность постепенного развертывания
Одним из ключевых выводов, к которому пришел Суцкевер, является то, что ИИ необходимо развертывать постепенно и заблаговременно. Очень трудно представить будущий, мощный AGI, и даже исследователям сложно его ощутить из-за ошибок, которые совершают текущие модели.
Постепенное развертывание позволяет миру, правительствам и общественности увидеть мощь ИИ и подготовиться к ней. Когда ИИ станет ощутимо мощным, компании будут гораздо более параноидально относиться к безопасности. Это похоже на то, как авиастроение стало безопасным — через развертывание, выявление и исправление ошибок, а не только через теоретические размышления.
Прогнозы и Будущее ИИ
Илья Суцкевер прогнозирует, что система, способная учиться как человек и, как следствие, стать сверхразумной, может появиться в течение 5–20 лет.
Он ожидает, что на определенном этапе текущие подходы компаний могут «заглохнуть» (stall out), несмотря на то, что они продолжат приносить огромную выручку. Когда же появится корректное решение (новая парадигма), он ожидает конвергенции стратегий между всеми ведущими компаниями.
Появление ученика, подобного человеку, приведет к сильному, возможно, очень быстрому экономическому росту. Однако, поскольку ИИ может быть чрезвычайно могущественным, было бы полезно, если бы его сила могла быть каким-то образом ограничена (capped)
Аналогия для понимания разрыва между тестами и реальностью:
Представьте, что вы наняли шеф-повара, который сдал все теоретические экзамены по кулинарии на отлично. Но когда он выходит на реальную кухню, он может идеально приготовить одно сложное блюдо, но забыть включить плиту для другого или постоянно путаться в базовых ингредиентах. Он обладает узкой, но глубокой компетентностью, но не обладает «чутьем» или обобщающей способностью, необходимой для навигации в хаотичной и непредсказуемой среде реальной работы. Современные ИИ-модели, отлично сдававшие «кулинарный экзамен» (evals), часто сталкиваются с этой проблемой в «ресторане» реальной экономики.