Ученые Google Research изучили, как рассуждения влияют на способность больших языковых моделей (LLM) вспоминать факты. Исследование показало, что рассуждения улучшают извлечение даже простых фактов, которые, казалось бы, доступны напрямую из памяти модели.
Ранее было известно, что пошаговые рассуждения, или «цепочки мыслей» (Chain-of-Thought, CoT), повышают производительность моделей в сложных задачах. Однако их влияние на простые, одношаговые вопросы оставалось неясным.
В работе «Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs», представленной на конференции COLM 2026, ученые показали, что генерация цепочки рассуждений позволяет моделям находить правильные ответы, которые иначе были бы недоступны.
Это явление объясняется двумя механизмами: рассуждения используются как вычислительный буфер и как механизм фактического прайминга.
Механизм вычислительного буфера означает, что генерация дополнительных токенов рассуждений действует как расширенное время вычислений. Это позволяет модели выполнять скрытую обработку информации. Эксперименты показали, что даже бессмысленные фразы, такие как «Дайте подумать», улучшают извлечение фактов, если их длина соответствует длине естественных рассуждений.
Второй механизм, фактический прайминг, заключается в том, что модели генерируют связанные факты. Это помогает «активировать» нужную информацию в их параметрической памяти.