何が“グローバル”なのか(脳)
-
分散表現・重ね合わせ:Pribramのホロノミック仮説は、記憶がフーリエ的に分散・干渉するという比喩で説明(ノイズに強い/緩やかな劣化)。
-
広域放送:グローバル・ワークスペース仮説や視床‐皮質のリズム同期で情報を全脳に共有。
-
広域ゲーティング:ドーパミン/アセチルコリン/ノルアドレナリンが学習率や可塑性の「場」を全域で調整。
-
オフライン更新:睡眠時リプレイ、再固定化、シナプスタギングで広域に記憶を再配置。
なぜBackpropとは違うのか
-
誤差の運び方:Backpropは層を逆向きに微分情報(勾配)を精密伝達。脳は主に局所可塑性+グローバル調節でクレジット割当。
-
重み対称性の問題(weight transport):脳で逆伝播に必要な転置重みを用意する証拠は乏しい。
-
信号様式:脳はスパイク時系列と化学伝達、LLMは連続値行列演算で一斉更新。
“橋渡し”する提案(研究途上)
-
予測符号化:誤差ニューロンでBackprop様の近似を行う仮説。
-
フィードバックアライメント/Equilibrium Propagation/三因子学習則:局所学習に粗いグローバル信号を載せてBackpropを近似し得るという案。
→ いずれも有望だが未確立で、機械学習のBackpropと同等とは言えません。
まとめ
-
脳の“グローバル”=広域共有・調整・再配置。
-
LLMの“グローバル”=勾配の全球逆伝播で一括最適化。
方向性(予測で驚きを下げる)は響き合いますが、メカニズムは本質的に異なります。