人工知能の専門家はもう不要になる? Google が発表した AutoML について

Google Research Blog に掲載された『AutoML: 機械学習を用いたニューラルネットワーク構造の探索』という技術についてのまとめです。

  1. Using Machine Learning to Explore Neural Network Architecture
  2. AutoML for large scale image classification and object detection

簡単に言うと、人工知能人工知能を作った!もう人間はいらないよ!というお話です(うそです)

f:id:xterm256color:20171104180915j:plain:w300
人工知能の専門家がクビになって発狂するイメージ

1. Using Machine Learning to Explore Neural Network Architecture

research.googleblog.com

概要

画像認識や音声認識機械翻訳の分野において Deep Learning は成功を収めてきました。ただそのモデルを作る裏では膨大な実験と時間と専門知識が必要で、技術者や科学者が泥臭く実験しているのが現状でした。

Google が開発した AutoML というアプローチでは、名前が示す通り Deep Learning モデルの試行錯誤を自動化しようという取り組みです。

勘違いしやすいですが、層のチャンネル数やカーネルサイズのようなハイパーパラメータだけを調整するものではありません。層の結合方法や演算方法も含めたより広い探索を自動化することができます。

モデル

仕組みは下の概略図を見てください。Controller と Child Network という2つの機械学習モデルがあります。Child Network が実際にタスクを解くモデルで、Controller はそれを最適化していくものです。

In our approach (which we call "AutoML"), a controller neural net can propose a “child” model architecture, which can then be trained and evaluated for quality on a particular task. That feedback is then used to inform the controller how to improve its proposals for the next round. We repeat this process thousands of times — generating new architectures, testing them, and giving that feedback to the controller to learn from. Eventually the controller learns to assign high probability to areas of architecture space that achieve better accuracy on a held-out validation dataset, and low probability to areas of architecture space that score poorly. Here’s what the process looks like:

f:id:xterm256color:20171104160409p:plain

出典:Research Blog: Using Machine Learning to Explore Neural Network Architecture

成果

  • 画像認識:CIFAR-10
  • 自然言語モデル:Penn Treebank

ふたつのデータセットで実験したところ、機械学習の専門家がつくった state-of-the-art モデルと同等の精度を達成しています。

AutoMLが作ったモデルには、これまで研究者達が採用としてきた構造が一部で使われています。一方で大変興味深いのは研究者達が採用しなかった構造も使われていることです。これはコンピュータが自分自身でよいニューラルネット構造を発見できたことを示しています。

この研究が発展すれば専門家でなくてもモデルを作成できると期待されます。ゆくゆくは、機械学習を使いたいすべての人に対して素晴らしい恩恵をもたらすでしょう。

所感

  • 人工知能人工知能を作るってスゲー!人によってはデストピアって感じるかも?
  • CIFAR-10 みたいな小規模なデータセットでやってるから実用化は先かな?と思ったんですが2つ目の記事がつい最近('17/11/2)に投稿されてました。詳しくは↓をご参照ください。

2. AutoML for large scale image classification and object detection

research.googleblog.com

概要

1のブログ記事では CIFAR-10 や Penn Treebank といった小規模なデータ・セットでの成果を発表しました。こっちは好奇心にかられて ImageNet と COCO(どちらもCIFAR-10よりずっと難しい大規模なデータセット) に適用してみたよ、というものです。

モデル

ImageNet と COCO データセットはとっても大規模なので、馬鹿正直に AutoML を適用してしまうとネットワーク構造の探索に何ヶ月もかかってしまいます。そこで二つの工夫をくわえました。ひとつは探索空間を再設計すること。もうひとつは AutoML が CIFAR-10 でつくった構造を初期値として転移学習させることです。

  • We redesigned the search space so that AutoML could find the best layer which can then be stacked many times in a flexible manner to create a final network.
  • We performed architecture search on CIFAR-10 and transferred the best learned architecture to ImageNet image classification and COCO object detection. 出典:Research Blog: AutoML for large scale image classification and object detection

成果

AutoML が生成したニューラルネットワーク(NASNet: Neural Architecture Search Network)は、精度 82.7% というstate-of-the-artと同等の精度を達成しました。

さらに驚くべきことに NASNet は計算コストが低いモデルとなっています。同程度のサイズの既存のネットワークと比較すると、3.1%ほどNASNetのほうが精度的に勝っています。

f:id:xterm256color:20171104170204j:plain

出典:Research Blog: AutoML for large scale image classification and object detection

さらに、Faster-RCNNと組み合わせてCOCOデータセットで物体認識してみると43.1%の mAP を達成しました。これは現時点で発表されている state-of-the-art よりも 4% 良くなっています(NASNet mobile と ShuffleNet の比較)。

ちなみに NASNet は TensorFlow 実装が公開されてます。(Slim, Object Detection

所感

  • タイトルに対する答えですが、専門家は必要だな思います。人工知能を作る人工知能は人間が設計しているわけですし。
  • ただ、モデルを探索するときの人間の役割は変わっていきそうですね。
    • 古代:特徴量職人
    • 現代:ハイパーパラメータ職人
    • 未来:探索空間職人
  • どれくらいマシンパワーいるのかと思って論文もちらっと見ました。4日間で学習できるみたいです。GPUが500基あればですが😥