AI×物理
今年のノーベル賞の話題もあり、物理学とAIの関連の書籍やセミナーが多く出てくる。
まずは京都大学の学習物理学のサイトが面白い。
https://mlphys.scphys.kyoto-u.ac.jp
2024.10.27に講演会「「なぜ AI×物理学？」 AI × 物理学 2024年ノーベル物理学賞の内容を中心として」が開催された。
紹介された論文で興味があったのは
1.統計物理でAI 学習空間での「濡れ転移」
動画 35:54
この研究は「学習物理学」に関連したスライドで、AI（人工知能）と物理学の関係性について解説しています。特に、AIにおける「レプリカ対称性の破れ」や「液体的な振る舞い」に関する理論的な概念を示しています。
・動画の説明
学習済み機械の集団は中央部で液体的というテーマで、学習モデルが特定の条件下で液体的な性質を示す様子を示しています。左側の「input」と右側の「output」の間に、機械学習モデルが「液体的」な状態を持つ中央部を持つ構造が描かれています。
M は訓練データの数、N はモデルのパラメーター数、そして α = M/N で定義されるパラメータ密度を指しています。この α に応じて「ξ ∝ ln(α)」というスケールで構造が変化します。
「レプリカ対称性の破れ」と呼ばれる物理的概念が適用され、ここでは異なる学習済みモデルが構造的に異なる多様な状態を取る様子を示唆しています。
・参考文献
スライドの上部に記載されている参考文献は以下の通りです：
吉野. Physical Review Research, 5, 033068 (2023).
https://journals.aps.org/prresearch/abstract/10.1103/PhysRevResearch.5.033068
吉野. SciPost Physics Core, 2, 005 (2020).
https://scipost.org/SciPostPhysCore.2.2.005
・解説
このスライドは、AIモデルの挙動を物理学的なフレームワークで解釈する試みを示しています。AIにおける「液体的」な挙動は、物理学における液体や固体の相に似た性質を持つことを意味しています。レプリカ対称性の破れ（物理学でよく扱われる概念）は、異なる学習パターンが異なる局所的な最適化を示すことを指し、AIにおいても複数の解が存在するような状態をモデル化するのに役立ちます。
2.modern Hopfield model
樺島先生の動画で説明されている。
動画27:21
論文は
この画像は、ホップフィールドモデルに関する解説スライドです。ホップフィールドモデルを拡張した「モダンホップフィールドモデル」について説明し、Transformerなどの注意機構（Attention Mechanism）における理解に役立つとされています。
・動画の説明
Krotov and Hopfield (2016)の論文を基にした内容で、ホップフィールドモデルの拡張に関する説明がされています。この拡張されたホップフィールドモデルは、層状ネットワークに適用され、指数関数的な数のパターンを記憶可能にすることが示されています。
Modern Hopfield Modelの図で、メモリニューロン（緑の円）と特徴ニューロン（青の円）の間に双方向の結合（ξ）が描かれています。これは、ホップフィールドネットワークがパターンの記憶と再現に優れた機能を持つことを示しています。
右側には、Transformerの構造図があり、Attention機構における「注意機構」との関連性が指摘されています。これにより、Transformerのようなモデルの理解にホップフィールドモデルが役立つとされています。
・参考文献
Krotov, D. & Hopfield, J. J. (2016). Advances in Neural Information Processing Systems, 29, 1172–1180.
https://arxiv.org/abs/1606.01164
解説
ホップフィールドモデルは、神経科学に基づいたパターン記憶のモデルで、特に記憶と連想の機能に優れています。KrotovとHopfieldの2016年の論文では、このモデルが深層学習における層状ネットワークに適用できるよう拡張され、より多くのパターンを記憶できるように改良されています。この特性が、Transformerのようなモデルにおける注意機構の理解や、記憶保持機能の模倣に役立っているとされています。
〇論文の解説
以下は、KrotovとHopfieldの「Dense Associative Memory for Pattern Recognition」論文の概要と、従来のホップフィールドモデルとモダンホップフィールドモデルの比較です。
論文概要
KrotovとHopfield（2016年）の論文では、パターン認識のための高密度連想メモリモデルが提案されています。このモデルは、従来のホップフィールドネットワークに比べて、ネットワーク内のニューロン数を超える多数のパターンを安定的に記憶・再生できるように設計されています。特徴的な点として、高次の相互作用（2次以上）をエネルギー関数に導入することで、従来よりも多くの記憶を扱えるようになっています。このアプローチは、特にディープラーニングで使用されるニューラルネットワークと関連があり、ReLUなどの従来の活性化関数に代わり、高次多項式関数を使用することで、より高い学習性能を引き出せることを示唆しています。
学習物理学の書籍（アフィリエイトリンクです。）
【主な目次】
- イントロダクション
A 機械学習と物理学
A1. 線形モデル
A2. ニューラルネットワーク(NN)
A3. 対称性と機械学習:畳み込み・同変 NN
A4. 古典力学と機械学習: NN と微分方程式
A5. 量子力学と機械学習: NN 波動関数
B 機械学習模型と物理学
B1. トランスフォーマー
B2. 拡散モデルと経路積分
B3. 機械学習の仕組み: 統計力学的アプローチ
B4. 大規模言語モデルと科学
情報、物理、機械学習に関する動画は大関先生の動画が素晴らしい。
https://altema.is.tohoku.ac.jp/~mohzeki
