テスラ自動車の人工知能部門長 (director) であるアンドレイ・カルパシー (Andrej Karpathy) 氏。 少し前に、ソフトウェア 2.0という概念を提唱したことで少し話題になったことを 覚えてらっしゃる方も居るかもしれません。ソフトウェア 2.0 とは、ニューラル・ネットワークに代表されるように、 枠組みと大量のデータを人間が与えるだけで問題を解けるように内部構造が最適化されるフレームワークのことを指します。

この「ソフトウェア 2.0」のおかげで、これまで「人間がどうやってプログラムするか分からかった」ような問題、例えば、 画像認識や音声認識・音声合成、機械翻訳やゲーム（囲碁）などで、近年、目覚ましい性能の向上が達成されたことは、この分野の進歩を追っている方なら 既にご存知ではないでしょうか。

本記事では、カルパシー氏の最新の講演「ソフトウェア 2.0 スタックの開発」のまとめおよび用語集を紹介します。 話が非常に面白く、また、機械学習を現実の問題に適用している方なら「あるある」とうなずける内容ばかりですので …

Continue reading

OpenAI の共同創立者兼研究ディレクターである Ilya Sutskever 氏。過去 5 年以内の論文の総引用数が 46,000 を超えるという、名実共に現在の人工知能・深層学習分野の第一人者でしょう。

MIT の「汎用人工知能(Artificial General Intelligence)」という講義シリーズの中でのSutskever 氏の講演が上がっていましたので、今回は抄訳とともにご紹介します。 メタ学習や自己学習など、最先端の話題もさることながら、進化論への言及など、非常に示唆深い、分かりやすい講演でおすすめです。

講演ビデオはこちら

はじめに

• そもそも深層学習はなぜうまくいくか
  • 定理：与えられたデータに対して、そのデータを生成できる最小のプログラムが、最も良い予測ができる
  • ただし、データが与えられたときに、そのデータを生成できる最小のプログラムを見つけることは困難である
  • 最小のプログラムの代わりに、最小の「回路」なら、逆伝播を使って見つけることができる
  • AI の基礎となる事実
  • ニューラルネットの訓練 → ニューラル「式」を解いている
  • N個の Nビットの数字を …

Continue reading

Ian Goodfellow による、GAN (Generative Adversarial Network; 敵対的生成ネットワーク) のチュートリアル。 Goodfellow 氏は GAN のそもそもの生みの親であり、教科書「Deep Learning」の著者としても有名。 ２時間と、とても長い盛りだくさんのチュートリアルだが、分かりやすく、具体例やコツなどの満載なので、とても参考になる。

• 生成モデリング

  • 訓練データから確率分布の表現を得る
    • 密度推定
    • サンプル生成

• なぜ生成モデルを研究するか

  • これまでの機械学習　１つの入力に対して１つの出力
  • 高次元確率分布は重要な対象
  • 強化学習の未来、計画をシミュレーションできる
  • 欠損値の扱い、半教師あり学習
  • マルチモーダル出力
    • 例：ビデオの次のフレームを予測
      • 多くの可能性があるので、ぼやけた画像になってしまう
    • 画像超解像技術
    • iGAN → 人間が線画を書くだけで、写真クオリティの画像を生成
    • 画像→画像翻訳　条件付きGAN
      • 線画→写真、航空写真→地図 …

Continue reading

オックスフォード大の「深層学習と自然言語処理」(Oxford Deep NLP 2017 course)の講義メモです。

講義ビデオ、スライド、講義の詳細等については、講義の公式ページを参照してください。

目次

• 講義1a: 導入 (Phil Blunsom)
• 講義1b: 深層ニューラルネットは友だち (Wang Ling)
• 講義2a: 単語レベルの意味 (Ed Grefenstette)
• 講義2b: 実習の概要 (Chris Dyer)
• 講義3: 言語モデルとRNN パート1 (Phil Blunsom)
• 講義4: 言語モデルとRNN パート2 (Phil Blunsom)
• 講義5: テキスト分類 (Karl Moritz Hermann)
• 講義6: Nvidia の GPU を使った深層学習 …

Continue reading