GTC Japan 2017 深層学習フレームワークメモ

GTC Japan 2017

先日GTC Japan 2017というカンファレンスに参加してきたので、深層学習フレームワークについて動向を殴り書きでメモ。

トレンドとしては、

• Eager execution (define-by-run)

  • トレンドというか2015年にChainerが登場して以降普及し始めた。
  • TensorFlowにeager execution追加。
    • まだcontribだけど。
  • 言わずもがなPyTorch、Gluon。
  • SonyのNNablaはdefine-by-runとdefine-and-runの両方に対応。
  • Facebookは研究にdefine-by-runであるPyTorchを、
  • デプロイにはdefine-and-runであるCaffe2を使っている。
    • やっぱりデバッグしやすいのでdefine-by-runは研究向き？

• モバイル向け最適化

  • TFLiteやCaffe2等。

• 分散処理

  • 大量のGPUを使っても性能が線形にスケールすることを各社アピール。

• ONNX

  • Open Neural Network Exchange
  • ニューラルネットワークのモデルの標準化を行い、ONNXを介すことによって様々なフレームワーク間で容易にモデルを変換できるようになる。
  • RNNとかはまだ？
  • Caffe2、Gluon、Chainer等対応。

なんか抜けている気がするので書き足すかも。