ファイナンス機械学習で、非定常時系列の前処理・解析の勉強をしているんですが再序盤である第２章で躓いてしまいました。読んで理解するだけなら難しくありませんが、インバランスバーを実装してみるとここで躓く人も多いのではないでしょうか。 第２章３節…

ガウス過程と機械学習の第5章、補助変数法でよくわからなくなってしまったので原著を読んだのでまとめます。スパース近似ガウス過程回帰を統一的視点で眺めるという内容になっています。 @matsueushiさんが既に綺麗にまとめてくれているのですが、数弱の自分…

勉強するときはlatexまたはmarkdownでまとめているのですが、これをはてなブログへ転記しようと思うと相当に面倒くさい（特に数式周りが）。 数式の記述方法については以下のブログ記事でとてもよくまとめてくれている。 はてなブログで数式を書く - 七誌の…

時間が空きましたが、ガウス過程を理解するために多変量ガウス分布について学習してきました（以下を参照）。 hotoke-x.hatenablog.com hotoke-x.hatenablog.com ガウス過程と機械学習の第5章、補助変数法でよくわからなくなってしまったので原著を読みまし…

前回の記事で、多変量ガウス分布の正規化定数を導出しました。 hotoke-x.hatenablog.com 今回は 多変量ガウス分布の周辺化 条件付きガウス分布 を行います。 前回同様、数学の準備をしてから本題に入ります。 数学の準備 ブロック行列 行列式 逆行列 多変量…

hotoke-x.hatenablog.com hotoke-x.hatenablog.com の続き。 本記事ではテンソルの微分演算についてまとめる。行列の行列微分がややこしかったので、縮約記法で計算すればスッキリできるのではと思ったのが事の発端。ようやくここまで来た。 準備 スカラーの…

hotoke-x.hatenablog.com の続き。一気に書くとまとまりがないので分けた。 本記事ではエディントンのイプシロン（レヴィ=チヴィタ記号）についてまとめる。これにより、ベクトル積、行列式、三重積などがスッキリ表現できる。 エディントンのイプシロン（レ…

「ゼロから作るディープラーニング１」で、Affineレイヤの逆誤差伝播のために行列積の行列微分がシレっとでてきた。一旦書き下して納得はしたものの、行列の順序を意識しながら連鎖律を操るのはシンドイ。そこで、Einsteinの縮約記法でテンソルを扱えたらス…

ざっくりと最適化についてまとめる（少し詳しい目次程度）。 手法間のつながりとか流れを確認する用なので、内容には踏み込まない。 証明や細かい解説は書籍を参照すること*1。 間違いがあればご指摘ください。 勾配法 最急降下法 今いる地点の勾配（1階微分…

前回の記事で、固有値と固有ベクトルについて書いた。 hotoke-x.hatenablog.com この記事中にある正方行列の対角化を式変形すると、行列のスペクトル分解（固有値分解）が得られ、これを使って2次形式の標準形が得られる。 正方行列のスペクトル分解（固有値…

固有値と固有ベクトルについてメモ。 何をしているかはわかっているけど、何が起きているかがわかっていなかった。 「固有」ってなんだよと思っている 行列の掛け算で何が起きてるのかイメージがわかない そんな人たちは参考になるかも。 数弱なので間違いが…