明日会社がいないなんて

明日会社がなくなっていても動揺しないように、情報を残していきたい

9/4-9/10 学習日記

機械学習

全結合

  • ニューラルネットワークの全結合:隣接するすべてのニューロンで結合
  • 全結合層の問題点:1次元データに変換するため、空間情報(空間的に近い値はピクセル値も近い)が無視されている ⇒ 畳み込み層なら形状を維持できる。

CNN

  • ストライド:フィルタを移動する間隔
  • パディング:入力データの周囲にデータを埋めること。出力サイズを一定にするために行う。
  • Pooling層:縦横方向の空間を小さくする演算
  • CNNでは「Convolution - ReLU - (Pooling)」というレイヤでつながっていくが、出力層に近い部分では「Affine - ReLU」の組み合わせが用いられる。
  • 畳み込みのフィルタはエッジ(色が変化する境目)やブロブ(局所的に塊のある領域)に反応する
  • 最初の層は単純なエッジに反応し、続いてテクスチャ、物体のパーツに反応する。層が深くなるほど抽出される情報が抽象化されていく。
  • LeNetは1998年に提案されたCNN
  • AlexNetは2012年に発表されたCNN。ディープラーニングブームの火付け役。

Deep Learning

  • MNISTは簡単なモデルなので、層が深くなくても良い結果が得られる
  • Deep Augmentation:画像を回転や移動させて画像枚数を増やす手法
  • 層を深くすることの利点:
    • ネットワークのパラメータ数を少なくできる
    • 学習データを少なくできる
  • ILSVRC(ImageNet Large Scale Visual Recognition Challenge):大規模画像認識のコンペティション
  • ImageNet:大量の画像のデータセット
  • Deep Learningで有名なネットワーク:VGG, GoogLeNet, ResNet
  • ディープラーニングは数値精度はそんなにいらない。16bitの半精度浮動小数点数でもよい結果が得られる。

その他

Python

覚えた用語