G検定勉強記 1/25

本日のG検定の勉強の記録です。

AIの理論のところは難しいですね・・・。

ResNetとは

スキップ結合を採用した画期的な発明

MSの研究者が2015年に論文を発表

層が深くなると勾配消失問題が起きて精度が悪くなる問題を解決した

ResNetを発展させたネットワーク。

コーネル大学の研究者の論文(2017年)

ただ、ResNetの上位互換ではなく、ResNetのほうが使われている。
ResNet の「スキップ接続が役立つ」という洞察をさらに進め、全ての層を前のすべての層につなぐという極端な設計にしたものです。勾配伝搬や特徴の再利用を強固にし、より少ないパラメータで高精度を実現します

1989年に考案された。

NNの元祖ともいわれている。

畳み込み→プーリング→現結合層

2014年にGoogleが考案

画像のコンペで優勝
Inceptionモジュールが特徴
精度を保ちつつ、計算量とパラメータ数を大幅に削減

ResNetは、層が深くなった場合の勾配消失問題の精度を改善したが、層を深くする必要があった。

WideResNetは、チャンネル数を増やすことで、浅いネットワーク構造で実現可能になった。

2017年にGoogleが開発した。

スマホなどのデバイスでも動作するように軽量なのが特徴。

MobileNetを構成する技術の１つ
チャネルごとに計算してから、あとでまとめるやり方
画像認識の計算が重すぎて、スマホでは動かないという問題を解決

強化学習によって、ネットワークの構造をあらかじめ自動生成する

NASから作られたネットワーク

GoogleがNASで作った

人が設計したCNNより高い精度を達成

スマホ・クラウド・研究のどこでも使われています。

モバイル最適化、スマホ向け