В Apple усомнились в способности существующих моделей ИИ рассуждать

В эксперименте проверили o1 и o3 от OpenAI, R1 от DeepSeek, Claude 3.7 Sonnet от Anthropic и Gemini от Google. Каждой из моделей предлагались четыре классические логические задачи: переправа через реку, прыжки через шашки, укладка блоков и башня Ханоя.

Результаты оказались неожиданными. В простых задачах продвинутые модели со способностью к рассуждениям уступали обычным большим языковым моделям. В задачах средней сложности — превосходили их, а при переходе к действительно сложным головоломкам точность стремилась практически к нулю.

Даже при предоставлении пошаговых алгоритмов решения, например, для башни Ханоя, качество не улучшалось. Более того, модели вели себя непоследовательно: могли сделать до 100 правильных ходов в одной задаче, но проваливали первые пять — в другой.

Анализ показал, что по мере роста сложности модели начинали использовать меньше токенов, то есть «размышляли» меньше, чем раньше, даже при наличии ресурсов. Это указывает на фундаментальные ограничения в поддержании цепочки рассуждений.

Рассуждающие модели работают по принципу «цепочки мыслей»: они имитируют человеческую логику, разбивая сложные задачи на множество шагов и объясняя свои действия на каждом этапе. Однако исследователи Apple полагают, что этот подход основан не на «понимании», а на узнавании шаблонов из обучающих данных.

Apple также критикует принятые подходы к оценке ИИ: по их мнению, существующие бенчмарки часто включают задачи, встречающиеся в обучающих выборках, что искажает реальную картину.

Работа вызвала неоднозначную реакцию. Одни считают, что Apple, отстающая в гонке ИИ, таким образом подрывает доверие к конкурентам. Другие — поддерживают.

Например, эксперт по машинному обучению и бывший руководитель группы в Gartner Андрей Бурков в посте в X назвал исследование важным вкладом в понимание возможностей ИИ. Он подчеркнул, что даже самые продвинутые модели остаются нейросетями — со всеми их ограничениями.

Apple did more for AI than anyone else: they proved through peer-reviewed publications that LLMs are just neural networks and, as such, have all the limitations of other neural networks trained in a supervised way, which I and a few other voices tried to convey, but the noise…