Ученые «стерли» память ИИ и проверили, способен ли он рассуждать

Команда из стартапа Goodfire.ai решила проверить, как устроено мышление у искусственного интеллекта. Они «отключили» часть памяти модели и посмотрели, изменится ли её способность к логическим выводам.

Чтобы сделать это аккуратно, учёные использовали математический метод K-FAC — Kronecker-Factored Approximate Curvature. Он позволяет точечно удалить данные, не разрушая структуру нейросети.

После такой «амнезии» ИИ по-прежнему знал столицы стран, но путался в именах руководителей компаний. Точность ответов в этой категории упала примерно на 78%.

Интересно, что при этом способности к математике и логическим задачам почти не пострадали. Это показало: память и рассуждения действительно можно разделить.

Учёные заметили и другую закономерность: чем чаще модель встречала информацию во время обучения, тем прочнее она её сохраняла. Редкие факты стирались легче.

Исследователи считают, что это открытие поможет создавать ИИ, который можно «обнулять» частично — стирать лишние данные, не трогая его умение думать.