Tensor Representations
-
Upload
yuta-ashihara -
Category
Education
-
view
342 -
download
5
Transcript of Tensor Representations
2.2 Tensor Representations
2.3 Supra-adjacency Representations
電気通信大学大学院情報システム学研究科
社会知能情報学専攻栗原研究室所属M1 芦原佑太
1
自己紹介• 電気通信大学大学院 M1
• 卒業研究は「ある二次元波動方程式に対するRayleigh波の構成」
→数学コースの出身です.ネットワーク?知りません.
• Red Bull 中毒者
• 今年から栗原研究室,そして今年からDeep Learning の研究をします.
2
この節の目的• 池田によって紹介されたグラフ理論を,もう少し数理的に見ることを考える際に,行列による表現を行うための準備をする.
マルチレイヤネットワーク 行列表現3
序論ーそもそもテンソルー• 階数の数だけ軸の数が増えた配列と考えると分かりやすい.
• 0階のテンソルはスカラー量
• 1階のテンソルはベクトル
• 2階のテンソルは行列
• 3階のテンソルは,行列の重なりのようなもの
• 3階テンソルの見た目は次スライドで
4
序論ーそもそもテンソルー• 可視化する限度は3階までが限界と思われる.
http://solid4.mech.okayama-u.ac.jp/%E3%83%86%E3%83%B3%E3%82%BD%E3%83%AB.pdfより
5
2.2テンソル表現• グラフの理論の話から,ノードの集合Vとアスペクト数がdの時で,マルチレイヤネットワークがnode-aligned
であるとき,隣接テンソルは以下のように表される
• このテンソルの階数は2(d+1)である.
6
2.2テンソル表現• テンソルの表記と成分が持つ値を定義する.前の節で定義したα={α1,α2,…,αd},βを用いて表せば
• また,Wは辺の重みを成分とする隣接重みテンソルである.
7
2.2 テンソル表現• 上記で定義されたテンソルは node-aligned であるマルチレイヤネットワークにおいてのみ適切な表現であったが, によれば,空のノード (他のとのノードとも隣接しないノード) を追加することによって, それ以外のネットワークにおいても上記のテンソルを採用することか できる.
8
2.2.1 制約• テンソルの低ランク表現を可能にするために,いくつかの制約を加えてテンソルの持ついくつかの要素を0にする.
• 例えば,レイヤが同じでなければ,あるいはノード名が同じでなければ,テンソルの要素を0にする,といった制約である.
• 上記の制約を設ければ,前者のテンソル,後者のテンソルをそれぞれ
で定義できる.
9
2.2.1 制約• こうした制約を満たすテンソル毎に分けることで,全体のテンソルは制約によって分けられたテンソルの和で表現できる.
同じノード名で結ばれた辺のみ許される場合10
2.2.2テンソルの平滑化• iとjの基本レイヤを新しいhという基本レイヤに合わせることで基本レイヤの数を減らすことができる.
この時, レイヤの表現は以下のようになる
• 処理を1回行うと,基本レイヤ数dのネットワークに対して,平滑化後では,数を (d − 1) に変更することができる.
11
2.3 Supra-adjacency Representation
• グラフをテンソルによって表現し(2.2節),制約と平滑化によって,最終的には, supra-adjacency matrixという行列による表現に落とし込むこと.
• 隣接行列から,supra-Laplacian matrix を引き出すことができる.node-layer の強さ (あるいは多重度)をDMという行列で表現し, supra-adjacency matrix をAM で表現すると,supra-Laplacian matrix は
で表される.
12
2.3 Supra-adjacency Representation
• 平滑化を行う関数を一般にfとして定義して
• これにより,テンソル積を×f として
を定義する.
13
2.3 Supra-adjacency Representation
• 前のページで作られたsupra-Laplacian matrix は,一般のラプラシアン行列と同じ性質を持つので,固有値に重要な性質を持つ.まず,ラプラシアン行列についての例を述べる.
14
2.3 Supra-adjacency Representation
• について見てみると,この行列は固有値0とそれに対応する固有ベクトル(1,1,1,1,1)を持っている.
15
2.3 Supra-adjacency Representation
• 次に,非連結のグラフについて見てみると
• ラプラシアン行列は
• 二つの行列成分に分割できる.16
2.3 Supra-adjacency Representation
• 固有値を計算してみると
• 固有値0は二重根である.
つまり,グラフを部分的に分割できるかとうかは,0固
有値の数によって分かる.
17
まとめ• グラフを行列表現に落とし込むための導入と,ラプラシアン行列の固有値の持つ意味を説明した.
• 工学への応用を考える際の理論を理解するのが難しく,分からないことが多いが,この輪読会の後編で説明される内容を噛み締めながら,理解したいと思います.
18