Transformerを理解したい記事です。 Transformerが提案された論文「Attention is All you need」をベースにまとめていきます。 以下の知識があることを前提としています。 Deep Learningに関する基礎的な知識 RNNに関する基礎的な知識 上記に関連する数学的…

特徴量重要度を理解したい記事です。 まさか、どういうものか理解せずに使ってないですよね？ 特徴量重要度とは 平均不純度変少量（Mean Decrease Impurity; MDI） 平均正解率減少量（Mean Decrease Accuracy; MDA） 単一特徴量重要度（Single Feature Impor…

まだまだ使う機会の多いアンサンブル法ですが、理論とアルゴリズムからちゃんと追いかけられている人ってどの程度いるのでしょうか？ データサイエンティスト（）にならないためにちゃんと理解してきたい記事です。 今回はバギングについてまとめます。 問題…

ファイナンス機械学習で、非定常時系列の前処理・解析の勉強をしているんですが再序盤である第２章で躓いてしまいました。読んで理解するだけなら難しくありませんが、インバランスバーを実装してみるとここで躓く人も多いのではないでしょうか。 第２章３節…

前回 hotoke-x.hatenablog.com の続きで、今回はモデルフリー手法の話です。 モデルベース手法では と が定義可能である前提でした。 モデルフリーの問題では直接これらを定義できない為に、蓄えたデータ（経験）から推定する必要があります。 また、経験を…

仕事でDeep Learningを使う機会がちょいちょい出てきたので、tensorflowやPyTorchの練習も兼ねて強化学習を勉強中。 手法が色々あってよくわからなくなってきたので記事にまとめます。 全体を俯瞰することに努めます。 正確性よりわかりやすさを優先します。…