Bitget App
Торгуйте разумнее
Купить криптовалютуРынкиТорговляФьючерсыStocksEarnКомпаниямИИ и не только
Тян Юаньдун: Итоги 2025 года (Часть первая)

Тян Юаньдун: Итоги 2025 года (Часть первая)

新智元新智元2026/01/05 03:20
Показать оригинал
Автор:新智元

Тян Юаньдун: Итоги 2025 года (Часть первая) image 0


  Новое интеллектуальное поколение сообщает  

Редактор: Тао Цзы
【Введение от Нового интеллектуального поколения】От спасения Llama 4 и последующего увольнения до нынешнего собственного стартапа — AI-эксперт Тянь Юаньдун вспоминает важные моменты 2025 года.

В последнее время было слишком много дел, поэтому итоговое резюме года пришлось отложить на после 1 января. Как бы то ни было, главное — начать писать.

Тян Юаньдун: Итоги 2025 года (Часть первая) image 1
О сокращении

В конце января 2025 года меня попросили присоединиться кLlama4, чтобы помочь "потушить пожар". Как человек, всегда занимавшийся reinforcement learning, я заранее нарисовал 2x2 матрицу вознаграждений и оценил четыре возможных сценария (хотя тогда, под сильным давлением сверху, отказ был практически невозможен):

Тян Юаньдун: Итоги 2025 года (Часть первая) image 2

Тогда я думал, что если мы поможем, то даже если проект не удастся, мы хотя бы сделали всё возможное и совесть будет чиста. Но, к сожалению, случился пятый вариант, который не был учтён, и это дало мне более глубокое понимание сложности общества.

Тем не менее, за эти несколько месяцев мы провели ряд исследований по ключевым вопросам обучения с подкреплением, например, по стабильности обучения, взаимодействию между обучением и инференсом, дизайну архитектуры моделей, взаимодействию между pre-training и mid-training, алгоритмам длинных цепочек рассуждений, способам генерации данных, дизайну post-training фреймворков и т.д.

Этот опыт сам по себе очень ценен и значительно изменил мои исследовательские взгляды.

К тому же я часто думал, что, проработав в компании более десяти лет, рано или поздно придется уйти — ведь не собираюсь же я здесь состариться. Но из-за различных экономических и семейных причин всё откладывал уход.

Последний год-два я говорил и действовал с настроением: "пусть компания уже уволит меня", и становился все более раскованным.

В конце 2023 года, когда я впервые взял долгий отпуск, был близок к уходу, но в итоге не подписал бумаги и остался. Так что принять решение уйти действительно нелегко. СейчасMeta сделала это за меня, и это даже к лучшему.

Эти события и взлёты и падения за год дали мне много нового материала для будущих литературных произведений.

Как говорится, "Неудачи на службе — удача для поэта: чем тяжелее испытания, тем совершеннее стихи". Если жизнь слишком спокойна, не факт, что она будет интересной. Помню, в начале 2021 года, когда я в итоговом отчёте написал несколько строк о том, почему мои статьи не были приняты, получил Meet Most, и почувствовал себя внезапно провалившимся.

Но, подумав, решил вместо того, чтобы жаловаться на несправедливость мира, просто делать вид, что только что получил повышение — и действительно, через полгода меня повысили, а та малоизвестная в начале 2021 годаработа в июле получилаICML Best paper honorable mention и стала достаточно известной в области представительного обучения.

После 22 октября в течение некоторого времени все мои каналы связи были перегружены: ежедневно приходили сотни сообщений и писем, приглашения на удалённые встречи и личные встречи — справиться со всем этим было невозможно.

Только через пару недель всё стало возвращаться в норму. За эти два месяца я очень благодарен всем за заботу и внимание. Если я тогда кому-то не ответил, прошу прощения.

Хотя в итоге было много предложений, и все известные компании связывались со мной, я решил, что пока молод, хочу стать сооснователем нового стартапа. Подробности пока не разглашаются — пусть пока всё будет тихо.

Тян Юаньдун: Итоги 2025 года (Часть первая) image 3
Некоторые исследовательские направления

Основные направления 2025 года — это inference в больших моделях и раскрытие чёрного ящика моделей.

С конца 2024 года, когда мы опубликовали работу по inference в непрерывном латентном пространстве (coconut, COLM’25), в 2025 году это направление стало особенно популярным. Исследователи ищут способы использовать эту идею в reinforcement learning и pre-training, повышать эффективность обучения и вычислений и т.д.

Хотя нашу группу вскоре перевели на работу с llama, и мы не смогли глубоко развивать это направление, мне всё равно приятно видеть его развитие.

Тем не менее, в первой половине года мы опубликовали теоретическую статью (Reasoning by Superposition, NeurIPS‘25), где показали, в чём преимущества inference в непрерывном латентном пространстве, и получили немало внимания.

Также мы работали над повышением эффективности inference в больших моделях. В нашей работеToken Assorted (ICLR’25) сначала через VQVAE обучается дискретное латентное пространство token'ов, а затем они смешиваются с text token'ами для дальнейшего обучения, что снижает стоимость inference и повышает производительность.

В работеDeepConf с помощью оценки уверенности в каждом сгенерированном token'e принимается решение, стоит ли преждевременно завершать определённую цепочку рассуждений. Благодаря этому количество используемых token'ов значительно сокращается, а при majority vote производительность даже улучшается.

ThreadWeaver создаёт параллельные цепочки рассуждений и обучает на них, ускоряя inference. Кроме того, мы тренировали reasoning models на dLLM с помощью RL (Sandwiched Policy Gradient), а также пробовали обучать reasoning на малых моделях (MobileLLM-R1).

В плане интерпретируемости, направлениемGrokking (озарения) я интересуюсь уже два года. Ранее, анализируя представления, я мог видеть динамику обучения и причины коллапса представлений, но не мог понять, какие именно представления изучаются, как они связаны со структурой входных данных и какова их способность к обобщению. Анализируя феномен Grokking — внезапный переход от запоминания к обобщению, — можно раскрыть эти тайны.

Поначалу это направление казалось совершенно непонятным; в 2024 году мы сделали статьюCOGS (NeurIPS‘25, см.Путь ищущего, не считая ни зноя, ни холода (10)), но анализ был возможен только для частных случаев и меня это не устраивало.

После более года поисков и многочисленного общения с GPT5, в последней статьеProvable Scaling Laws удалось сделать значительный прорыв: удалось увидеть то, что раньше было недоступно линейным структурам (NTK), и примерно объяснить динамику появления признаков. Пусть примеры пока специфичны, но новое окно уже открыто. Подробности см. в разделеМысли Тяня Юаньдуна.

Конец года — статьяThe path not taken мне очень нравится: в ней делается первый шаг к объяснению, почему поведение RL иSFT столь различно, на уровне весов модели.

SFT приводит к переобучению икатастрофическому забыванию (catastrophic forgetting), поверхностная причина — недостаточно on-policy данных, более глубокая — главные компоненты весов модели существенно изменяются внешними данными, что делает "фундамент" неустойчивым и резко снижает качество модели.

А вот RL, используя on-policy данные, не меняет главные компоненты весов, а только второстепенные, что позволяет избежать катастрофического забывания; изменяемые веса становятся более разреженными (особенно при bf16-квантизации).

Тян Юаньдун: Итоги 2025 года (Часть первая) image 4
О вере в интерпретируемость

Многие считают, что интерпретируемость или вопрос "почему AI работает так хорошо" не так важен, но мне кажется, это очень важно. Представьте два сценария:

  • Сценарий 1: если мы достигнем AGI или даже ASI только за счёт увеличения масштабов, и вся ценность человеческого труда упадёт до нуля, а AI как огромная "чёрная коробка" решит все наши проблемы, то вопрос, как сделать так, чтобы AI как суперразум всегда творил добро, не обманывал и не совершал зла скрытыми способами, станет приоритетным. Для решения этой задачи нужна интерпретируемость.


  • Сценарий 2: если масштабирование в конце концов перестанет работать, и человечество столкнётся с необходимостью искать другие решения из-за экспоненциального роста потребностей в ресурсах, нам придется задуматься "почему модели эффективны и что приводит к их неэффективности". Это размышление неизбежно приведёт к возвращению к исследованиям, а интерпретируемость станет альтернативным путём.


В обоих случаях в итоге интерпретируемость оказывается необходимой. Даже если AI станет всеведущим и всеблагим богом, человеческая любознательность всё равно заставит нас исследовать, почему AI так хорош.

Ведь "чёрный ящик" порождает цепочку подозрений. В эпоху взрывного роста больших моделей, которые начинают достигать и даже превосходить средний уровень человека, правила "тёмного леса" из "Трёх тел" могут проявиться иначе.

Сейчас раскрытие чёрного ящика обученных моделей и поиск "circuit'ов" ещё на начальном этапе.

Главная сложность интерпретируемости — объяснить, исходя из first principles, то есть из архитектуры модели, градиентного спуска и структуры самих данных, почему модель приходит к выделению таких декоррелированных, разреженных, низкоранговых, модульных, композиционных признаков и цепей; почему существует множество различных объяснений; с какими гиперпараметрами обучения связаны возникающие структуры и как именно.

Когда мы сможем выводить необходимость появления признаков в больших моделях прямо из уравнений градиентного спуска, интерпретируемость из биологического сбора свидетельств станет физическим теоретизированием и начнёт направлять практику, открывая путь к следующему поколению моделей искусственного интеллекта.

Сравнивая с физикой четырёхсотлетней давности, сейчас у нас есть много "AI-Тихо Браге" (сбор данных), есть "AI-Кеплеры" (выдвижение гипотез), но ещё нет "AI-Ньютона" (открытие принципов).

Когда этот день настанет, я уверен, что мир изменится до неузнаваемости.


0
0

Дисклеймер: содержание этой статьи отражает исключительно мнение автора и не представляет платформу в каком-либо качестве. Данная статья не должна являться ориентиром при принятии инвестиционных решений.

PoolX: вносите активы и получайте новые токены.
APR до 12%. Аирдропы новых токенов.
Внести!

Вам также может понравиться

Перед публикацией отчетности за третий квартал Samsung Electronics и SK Hynix сталкиваются с "очень высокими ожиданиями", что станет испытанием для "глобальной AI-торговли".

Волна искусственного интеллекта стимулирует глобальный «суперцикл» полупроводников, объединённая операционная прибыль Samsung и SK Hynix в третьем квартале может приблизиться к историческому рекорду — 190 триллионам южнокорейских вон. Борьба за HBM4 становится всё более напряжённой, спрос на пропускную способность памяти со стороны агентов AI вырос в десять раз, память становится настоящей «кровью» AI-центров обработки данных. Два будущих финансовых отчёта определят, является ли этот расцвет всего лишь кратковременным явлением, или он приведёт к структурной трансформации технологической инфраструктуры.

华尔街见闻•2026/09/27 01:11
Перед публикацией отчетности за третий квартал Samsung Electronics и SK Hynix сталкиваются с "очень высокими ожиданиями", что станет испытанием для "глобальной AI-торговли".

Руководитель Meta AI Александр Ван: почему я создаю Muse

Muse за 12 дней после запуска собрал 2,8 миллиона скачиваний, превзойдя показатели ChatGPT за аналогичный период, и установил новый рекорд в США — 264 тысячи скачиваний за день. В результате рыночная капитализация Meta выросла на 234 миллиарда долларов. За этими успехами стоит открытое письмо главного AI-директора Alexandr Wang о "человеческих стремлениях" и легендарное приобретение, когда Марк Цукерберг был высмеян за "безумную" сделку на 14,3 миллиарда долларов: теперь это считается одной из самых выгодных покупок талантов в истории Кремниевой долины.

华尔街见闻•2026/09/26 12:01

UBS: сохраняет нейтральный рейтинг Tesla (TSLA.US), целевая цена 385 долларов. Логика ценообразования акций определяется AI-нарративом.

UBS прогнозирует, что глобальные поставки Tesla в третьем квартале 2026 года составят около 470 000 единиц, что на 5% меньше по сравнению с аналогичным периодом прошлого года и на 1% меньше по сравнению с предыдущим кварталом.

智通财经•2026/09/26 07:56

AI-бум противостоит «5% доходности по казначейским облигациям США»! Nasdaq обновляет исторический максимум, укрепляя структуру «80/20», Уолл-стрит пересматривает соотношение акций и облигаций

Доходность 30-летних государственных облигаций США достигала примерно 5,53%, что является самым высоким уровнем с 2004 года; цена Brent по-прежнему превышает 100 долларов за баррель. Рискованные активы вновь выдержали давление, что отражает уверенность инвесторов в том, что коммерциализация приложений AI и рост корпоративной прибыли способны в определённой мере компенсировать влияние повышения стоимости финансирования и ставки дисконтирования.

智通财经•2026/09/26 07:06