まっどさいえんちすと

日本語が苦手なのでブログで練習します。パエリアが大好き

Generic Priorsをさらりと確認(1)

3月なのにこの寒さ、ありえへんわー。

Generic Priorsという日本語で言うと前提的なもの。

Deep Learningでどうやって表現を獲得するか。

そのときに念頭に置いておくべきこと的な意味だと思ってます。

Representation Learning: A Review and New Perspectivesを読んだので簡単にまとめます。

http://arxiv.org/pdf/1206.5538.pdf

 

1:Smoothness

平滑性と次元の呪いのことです。カーネル関数で飛ばすことも表現学習だね。という意味だと思います。

 

2:Multiple explanatory factors

良い表現とは表現豊かなこと。

 

3:A hierarchical organization of explanatory factors

Deep Learningの名前の通り、この深さが抽象性の低いものから高いものに構築してくよ。ということ

 

4:Manifolds

多様体の話.PCAなども含めどう次元を削減するか。元データより小さな次元数を持つ局所的にデータが集中している場合もあります。

 

疲れた。つづく、、