paper
https://arxiv.org/abs/2006.12599
abstract
This work proposes an autoencoder neural network as a non-linear generalization of projection-based methods for solving Partial Differential Equations (PDEs). The proposed deep learning architecture presented is capable of generating the dynamics of PDEs by integrating them completely in a very reduced latent space without intermediate reconstructions, to then decode the latent solution back to the original space. The learned latent trajectories are represented and their physical plausibility is analyzed. It is shown the reliability of properly regularized neural networks to learn the global characteristics of a dynamical system’s phase space from the sample data of a single path, as well as its ability to predict unseen bifurcations.
Google翻訳
この作業は、偏微分方程式（PDE）を解くための射影ベースの方法の非線形一般化としてオートエンコーダニューラルネットワークを提案します。 提示された提案された深層学習アーキテクチャは、中間の再構築なしで非常に縮小された潜在空間に完全に統合することによってPDEのダイナミクスを生成し、潜在解を元の空間にデコードして戻すことができます。 学習された潜在軌道が表され、それらの物理的妥当性が分析されます。 単一パスのサンプルデータから動的システムの位相空間のグローバル特性を学習するための適切に正則化されたニューラルネットワークの信頼性と、目に見えない分岐を予測する能力が示されています。
DeepL
本研究では、偏微分方程式(PDE)を解くための投影法の非線形一般化として、オートエンコーダー・ニューラルネットワークを提案する。提案された深層学習アーキテクチャは非常に小さい潜在空間で完全に積分することにより、PDEのダイナミクスを実現する。に戻って潜在解をデコードするために，中間再構成を行わずに元の空間を表現しています。学習された潜在軌道が表現され，その物理的な
妥当性が分析されている。正則化された神経回路の信頼性が示されている。動的システムの位相空間のグローバルな特性を学習するためのネットワークを予測する能力と同様に、単一のパスのサンプルデータから分岐しています。
- Introduction
Google翻訳
計算能力は絶えず向上していますが、乱流などの複雑な非線形モデルソリューションの一部の領域に存在する固有の自由度により、制御アプリケーションには不適切であるか、複雑なジオメトリの解決が非常に困難になっています。 最近、コンピュータグラフィックス、制御工学、計算生物学、その他のシミュレーション分野など、さまざまな分野の複雑な物理モデルから、より信頼性が高く圧縮された次数削減方法を見つけるための研究が進行中です。 過去数年間で、ディープオートエンコーダアーキテクチャは、画像と音声の分類シナリオで発生する非常に複雑な非線形データ分布の圧縮に成功したことが証明されています。 したがって、データ変動係数をパラメーター化を減らしてエンコードするコンパクトな潜在表現が実現され、実際のサンプルと区別できない新しいサンプルの生成が可能になります。
以前のアイデアをシミュレーションの領域に適用することに新たな関心が集まっています。これは、最近の研究でこれまでに達成された成果によって強化されています[1、2]。 このため、この論文では、適切な直交分解（POD）などの射影ベースの次数削減方法の非線形一般化としてオートエンコーダを使用することを提案します。
よく知られている非線形偏微分方程式（PDE）のセットについて、深層学習モデルが元の問題（1）のダイナミクスを常微分方程式の小さなセットにエンコードするコンパクトな基礎を見つける方法を示します。 （ODE）、線形波動方程式を非結合調和振動子のセットに還元できるのと同じ方法で。
縮小システムのグローバルダイナミクスを学習するニューラルネットワークの能力を理解するために、最初に2Dおよび3D動的システムの状態図を使用します。ネットワークが、散逸ダイナミクス、リミットサイクル、カオスなど、さまざまな代表的な動作をどのように学習できるかを示します。次に、これらの結果を適用して、オートエンコーダネットワークに縮小されたPDEのダイナミクスを学習させ、ニューラルネットワークの隠れた状態で完全に解決できることを証明します。ニューラルネットワークによって提供される優れた圧縮能力により、より高い非線形PDEを3Dベースにエンコードすることが可能になり、動的な動作を表現でき、物理的なコヒーレンスを簡単に検証できます。この作業の貢献は2つの部分で構成されています。最初の部分では、さまざまな現象を代表する古典的な動的システムを研究します。このようにして、[3]で与えられた損失関数で適切に正則化されたニューラルネットワークが、動的システム位相空間のロバストな近似を学習し、外部駆動力に対する同様の応答を明らかにし、システムによって発生する分岐を特定できることが実証されます。パラメータの変動。第2部では、オートエンコーダニューラルネットワークを、射影ベースの縮小次数法の自然な非線形拡張として紹介します。続いて、このモデルが非線形PDEの導関数をコンパクトな表現に縮小する方法を示します。これはODEの小さなシステムとして統合できます。オートエンコーダによって学習されたデコードされた関数を使用して、ソリューションを元の表現に戻すことができます。まず、解決された軌道の離散セットから学習したダイナミクスを推定および一般化するネットワークの能力を評価および理解する必要があります。つまり、研究対象の動的システムの解xの時間微分関数f（x、t）を学習します。複製されたシステムの座標を表すために、xˆを使用します。次に、潜在変数ニューラルネットワークモデルが高次元の位相空間を縮小されたものにエンコードする能力を研究します。このモデルでは、潜在軌道を元の空間にエンコードするマッピングを学習しながら、潜在軌道を計算できます。非線形PODと同様の方法。縮小複製システムの座標はhとして示されます。したがって、（1）の低次元モデルに基づく有効なニューラルネットワークの検索は、次のスキームに従って2つのフェーズで実行できます。
次のセクションでは、この研究の精緻化の基礎として役立った関連研究のコレクションがあります。 上記の構造に従って、2つの主要なセクションが区別されます。 各セクションは、対応する方法と結果に分かれています。 作業は、得られた結果についての簡単な結論で終了します。
2 Related work
作業の最初の部分に関して、関数f（x、t）を学習すると、ˆf（x、t）= f（x、t）（x、t）のような特定のエラーが発生します。与えられたドメインについて、これが予測された軌道の誤差の上限を提供することを証明することができます[4、5]。これは、ニューラルネットワークの普遍近似定理[6]と組み合わせて、境界領域内の任意の動的システムを任意に近似するリカレントニューラルネットワークの機能を確立する結果につながります[4、5]。ニューラルネットワークを使用した一般的なダイナミクスの学習について[7]は、リカレントフィードフォワードネットワークがさまざまな数とタイプのアトラクタを使用して自律的なカスタム位相空間ポートレートを学習する方法を示しています。最近[8]は、このアプローチを非自律システム、つまり個別にトレーニングされた結合ネットワークに拡張して、結合システムのダイナミクスを正確に再現しました。カオスマップを学習する能力は[9]に示されています。これは、[10]のカオス力学系の学習の研究にまで及びます。さらに、[11]は、エコー状態ネットワークを使用して、倉本-シバシンスキー方程式に存在する高次元のカオスアトラクターを学習します。長期動的予測は[12]で取り上げられており、収縮損失を使用して、システムの不安定性に関連すると考えられる、学習した微分関数のヤコビ行列のスペクトル放射性を制約します。数値多段階スキームから損失関数を構築することにより、システム導関数のより良い近似を得るための非常に興味深いアプローチが[3]で提案されました。作業の後半では、図（3）に示すように、低次元モデルの合成を目的として、潜在的なダイナミクスの関数形式が不明であるため、ダイナミクスの識別問題に直面します。この分野では、[13]は辞書スパース回帰アプローチを使用して優れた結果を達成します。これは、ほとんどの動的システムが多項式基底でスパース表現を提示するという事実を利用しています。 PODニューラルネットワークハイブリッドアプローチは[14]で導入されました。ここでは、長短期記憶（LSTM）ネットワークにk成分PODソリューションプロジェクションが供給され、低減されたダイナミクスを学習します。さらに、[15]では、高次元システムはLSTMネットワークの状態空間で完全に解決されました。
これまでに達成された最も重要な結果は[2]に示されています。ここでは、潜在空間でLSTMと結合された畳み込みオートエンコーダーを使用して縮小モデルを学習します。
