2025年9月9日火曜日

脳にも“グローバル”に見える仕組みはあります。ただしそれはBackpropのような厳密な全球勾配更新とは別物です

 

何が“グローバル”なのか(脳)

  • 分散表現・重ね合わせ:Pribramのホロノミック仮説は、記憶がフーリエ的に分散・干渉するという比喩で説明(ノイズに強い/緩やかな劣化)。

  • 広域放送グローバル・ワークスペース仮説や視床‐皮質のリズム同期で情報を全脳に共有。

  • 広域ゲーティングドーパミン/アセチルコリン/ノルアドレナリンが学習率や可塑性の「場」を全域で調整。

  • オフライン更新睡眠時リプレイ、再固定化、シナプスタギングで広域に記憶を再配置。

なぜBackpropとは違うのか

  • 誤差の運び方:Backpropは層を逆向きに微分情報(勾配)を精密伝達。脳は主に局所可塑性+グローバル調節でクレジット割当。

  • 重み対称性の問題(weight transport):脳で逆伝播に必要な転置重みを用意する証拠は乏しい。

  • 信号様式:脳はスパイク時系列と化学伝達、LLMは連続値行列演算で一斉更新。

“橋渡し”する提案(研究途上)

  • 予測符号化:誤差ニューロンでBackprop様の近似を行う仮説。

  • フィードバックアライメント/Equilibrium Propagation/三因子学習則:局所学習に粗いグローバル信号を載せてBackpropを近似し得るという案。
    → いずれも有望だが未確立で、機械学習のBackpropと同等とは言えません。

まとめ

  • 脳の“グローバル”=広域共有・調整・再配置

  • LLMの“グローバル”=勾配の全球逆伝播で一括最適化
    方向性(予測で驚きを下げる)は響き合いますが、メカニズムは本質的に異なります