2025年9月13日土曜日

対称性と機械学習

 本書の核は、「対称性」という見えない秩序を道具として用い、少ないデータでも安定して汎化できる学習系を設計することにあります。対象を回したり動かしたりしても本質が変わらない性質を不変性、変えた分だけ出力も対応して変わる性質を同変性と呼びます。これらを数式で保証するために、群作用・表現、連続変換を扱うリー群/リー代数、幾何を一括に扱えるクリフォード代数を導入します。重要なのは、不要な差異はまとめ上げつつ(軌道・商空間の発想)、姿勢や位相など“意味のある変換情報”は消さずに保持することです。実装面では、畳み込みや群畳み込み、アフィン同変ネットワークによって「入力を動かせば特徴も同じ規則で動く」ふるまいを仕込み、指数写像・リー微分で無限に連続する変換を安定的に扱います。完全な対称性は現実には稀ですから、モデル側に好み(帰納バイアス)を入れつつ、足りない部分はデータ拡張で補う二段構えをとります。保存則や力学系の直観と結びつけることで、何を守り、何を捨てるかの判断基準も明確になります。

付記として、データサイエンスや実務での使いどころを挙げます。画像・医用・衛星では回転や並進への同変性を持つ層で少量データでも頑健さが増し、検出や姿勢推定は「完全不変ではなく同変」を選ぶことで情報の取りこぼしを防げます。分子・材料・ロボティクスの3Dデータでは E(3) 同変モデルが座標系に依らない学習を可能にし、力やエネルギーのような保存量の一貫性も高まります。時系列では時間シフトに対する不変性、季節性に対する周期同変性を設計に織り込み、異常検知や需要予測の外れ耐性を向上できます。表形式や集合データでは順序に依らない置換不変・同変アーキテクチャ(Set系)が前処理の恣意性を減らします。運用手順としては、まず業務上“変えても本質が変わらない操作”を言語化し、どれをモデルに内蔵し、どれを拡張で賄うかを切り分けます。次に、同変誤差や不変テストで挙動を定量評価し、必要に応じて対称性促進の正則化を追加します。最後に、想定外の分布変化に備え、対称群を過大にしない(最小限の群を選ぶ)こと、計算効率を保つ分解・近似を用いることが実務上の鍵になります。こうした手順により、精度だけでなく再現性・保守性・説明可能性まで一段引き上げることができます。https://amzn.to/4n1B35F

VT11はPDP-11用のベクター描画プロセッサで、座標と命令語を順番に送り込むだけで滑らかな線を描けるのが特徴です。

 VT11はPDP-11用のベクター描画プロセッサで、座標と命令語を順番に送り込むだけで滑らかな線を描けるのが特徴です。MOVで移動、DRWで線を引き、INTで輝度調整、ORGSCLで座標系を変えます。部品化やスケーリングで再利用し、線分数を抑えてフリッカーを防ぐのがコツです。

  • 画面はラスターではなくベクター線分で構成。

  • CPU(PDP-11)が命令語+座標データをVT11のI/Oレジスタ(UNIBUS)へ順送。

  • VT11がブラウン管のX/Y偏向と**輝度(Z軸)**を直接制御して線を引く。

  • 1フレーム内に描く線分が増えるとフリッカーが出るため、輝度と線分数のバランス調整が要点。


代表コマンド(概念)

実機では命令語のビット配置で指定しますが、意味だけ掴める名前にしています。

コマンド役割(ざっくり)
CLR (Clear)全面消去/帰線。次フレーム開始前に使用。
MOV x,y (Move, beam off)ペンを上げて座標へ移動(輝度オフ)。
DRW x,y (Vector draw)現在位置から(x,y)へ線を引く(輝度オン)。短ベクタを多用。
INT level (Intensity)線の明るさを設定。フリッカー対策にも効く。
SCL s (Scale)スケール(増幅)係数。モデル⇄画面の倍率調整。
ORG x0,y0 (Origin)原点(ベース)を再設定。ワールド座標→画面座標の基準に。
CHR c (Stroke char)線画フォントで文字cを描く(内部は細い線分の集合)。
JSR/JMP (Subr)サブルーチン呼出。部品図形を再利用して負荷軽減。
WAIT/SYNC垂直同期待ち・安定化。



ニューラルネットワークとディープラーニングは似た言葉ですが、指している範囲が異なります。

ニューラルネットワークは脳の神経細胞を模した数理モデルの総称で、入力層・隠れ層・出力層で構成されます。一方ディープラーニングは、その中でも隠れ層を多層に重ねた「深い」ネットワークを用いた学習手法を指します。層が深いほど抽象的な特徴を自動で学び、画像認識や音声認識、自然言語処理など複雑な問題に対応できます。今日のAIブームの多くはディープラーニングの成果によるもので、従来のニューラルネットワークよりも高精度な結果を出せる点が特徴です。


螺旋丸 可視化シミュレータ(Rankine渦 + 可変粘弾性)

螺旋丸 可視化シミュレータ(Rankine渦 + 可変粘弾性)

螺旋丸 可視化シミュレータ(Rankine渦 + 可変粘弾性)

指圧 Pf・湿度 H・核比 a/R を操作し、ランキン渦(核:剛体回転/外層:循環保存)の速度場で粒子トレーサを進めます。粘度・弾性は H で連動変化し、外縁膜を硬化させ形状保持を模擬します。

螺旋丸は、チャクラを粘りと弾性を併せ持つ擬流体と見なし、手の中で安定した渦球を形成するモデルで説明できる

 

螺旋丸は、チャクラを粘りと弾性を併せ持つ擬流体と見なし、手の中で安定した渦球を形成するモデルで説明できる。指圧Pfは外周を押さえつつ周方向にずらす力=せん断を注入し、回転を育てる。湿度Hは粘度と弾性を同時に変化させ、外側に硬い“膜”を作って形を保つ。渦は中心がまとまって回り、外側ほど回転がゆるむランキン渦型で、核比a/Rは0.4〜0.6が安定。手順は小渦で芯を作る→せん断でスピンアップ→指圧を微振させて揺れを殺し保持。外縁が薄いと境界の巻き込み不安定が出やすいので、Hを上げて膜を厚くし、指の位相差で渦度を整える。循環Γで回転強度を、Pfで注入トルクを、Hで立ち上がりと保持の折り合いを取る。

1943年、マカロックとピッツは閾値を越えれば1、越えなければ0を返す論理ニューロンで「加重総和→ステップ関数」という計算枠組みを示した。

 1943年、マカロックとピッツは閾値を越えれば1、越えなければ0を返す論理ニューロンで「加重総和→ステップ関数」という計算枠組みを示した。1949年、ヘッブが同時活動ニューロン間の結合強化を唱え、重みを動的に学習させる動機付けを与える。1956-57年、ローゼンブラットは400素子の光センサーを“網膜層”S-unitに、乱数配線された中間A-unitを経て1つのR-unitへ収束させるMark I Perceptronを試作し、重み付き和+バイアスが正なら発火とし、誤りが出た入力だけ重みを微調整する学習則を実装。この仕組みはハイパープレーンで空間を二分し、線形分離可能なら有限更新で必ず収束することが証明された。視覚受容器発想から生まれたモデルは畳み込みネットやTransformerの線形層にも受け継がれ、1960年代は手書き文字実験で注目されたが、1969年のミンスキー指摘で停滞。1986年の誤差逆伝播で多層化が復活し、新ブームを支える基盤となった。実機は真空管とフォトセルをIBM704に接続したもので、艦船識別など軍用課題を想定して海軍が資金提供した。成果は「見る機械」と報じられAI研究の第一波を牽引した。


重み付き足し算としきい値(活性化関数)の仕組みは

 重み付き足し算としきい値(活性化関数)の仕組みは、画像・音声を扱うディープラーニングにとどまらず、ロジスティック回帰やサポートベクターマシンの線形判別、適応フィルタによるノイズ除去、ロボットのPID制御、ファジィ推論、生物神経を模した漏れ積分・発火モデル、さらにはニューロモーフィックチップにも広く応用されている。入力が十個でも百万個でも「掛けて足してスイッチに通す」だけなので、ハードからソフトまで実装が容易でスケールもしやすい点が汎用性の源だ。

 バイアスは合計に最後に足す定数で、電卓の「+オフセット」のような役目を果たす。迷惑メール判定では語の得点を足した後、メール全体の平均長さに応じて押し上げ、短文・長文スパム両方へ対応する。医療診断では重みが症状の強さ、バイアスが年齢や季節など背景要因を吸収し、判定基準を適切にシフトさせる。学習では誤差に応じてバイアスも更新され、境界線を平行移動させながら「常に高め」「やや控えめ」などの微調整を自動で実現する。推奨システムでは基準人気度、信用スコアでは景気水準をバイアスで一括調整し、重みが個別事情を割り振る。単純に見えるが、適切な重み付けとバイアス調整こそが実用精度を左右する核心であり、医療画像解析や自動運転でも同じ枠組みがGPUで大量並列計算されている。