モチベーションがありすぎるあなたへ

Posted on 2018-11-11(日) in Productivity

モチベーションはあって、良いアイデアがすぐ浮かび色々なことに挑戦するのだが、すぐに他のことに興味が移ったりして何一つとして成し遂げられない・・・。自分も含め、こんな症状で困っている方も多いのではないでしょうか。少し前ですが、ブロガーの Scott Young 氏が記事を書いていたので、抄訳とともに紹介します。


元記事: モチベーションがありすぎるあなたへ

自己啓発の分野では、多くの人が、モチベーションが足らなくて困っている、という見方が主流だ。ただ、自分が見る限り、そのまったく逆の症状、つまり、モチベーションがありすぎて困っているという人が少なからず居るようだ。つまり、やりたいことが多すぎて、一つのプロジェクトをやり遂げることが困難であると感じる人たちである。

このような人たちは、

  1. アイデア、シナリオ、目標を考えるモチベーションが過剰にあり、
  2. このアイデアのために必要なことを実行するモチベーションが普通、もしくは少ない

という特徴を持つ。このような人に「モチベーションの上がる本」などを読ませても、全く効果がないどころか、逆効果になってしまう。

自分がモチベーション過剰か知る方法

自分がモチベーション過剰かどうか、どうやったら分かるだろうか?

私もそのような性格を持つ一人なので、同じ性格を持つ人を見ると割と簡単に分かる。新しいプロジェクトや、旅行先、ライフハックなど、新しいことに対してすぐに興味を持つが、深くコミットせずに新しいプロジェクトにすぐに飛び移るので、ひどい結果しか生まれないのだ。

あたながこのような性格の持ち主か知るためには …


Continue reading

強化学習入門 - Google DeepMind の David Silver 氏による強化学習コース

Posted on 2018-09-01(土) in Reinforcement Learning

「無料でアクセスできる最高の強化学習のコース」と名高い、Google DeepMind / University College London の David Silver 氏による強化学習のコース。こちらのページから、全ての講義スライドと講義ビデオが見られる

講義1: 強化学習入門

  • 教科書

    • An Introduction to Reinforcement Learning
      • 直感的, このコースで参照
    • Algorithms for Reinforcement Learning
      • 理論, 厳密
  • 強化学習とは

    • 様々な分野と関係
    • 工学、機械学習、神経科学(脳の報酬システムと関係)
    • 機械学習の3つの分類
      • 教師あり学習、教師なし学習、強化学習
  • 他の機械学習アルゴリズムとの違い

    • 教師の代わりに、報酬信号しかない
    • 報酬がすぐに得られるとは限らない
    • 時間の概念が重要。iid (独立同分布)データではない
    • エージェントが環境に影響を及ぼす→データも変わる
  • 強化学習の例 …


Continue reading

ベストセラー「睡眠こそ最強の解決策である」著者マシュー・ウォーカー氏による Google 最新講演

Posted on 2018-07-27(金) in Productivity

「自分は睡眠が少なくても大丈夫」と思っている人は、「ぜんぜん酔ってないから」と言いながら車を運転して帰ろうとする酔っぱらいぐらい危険である。

マシュー・ウォーカー氏講演

アメリカ・イギリスでベストセラーとなった「睡眠こそ最強の解決策である」の著者であり、睡眠研究の世界的第一人者であるマシュー・ウォーカー氏の主張は一貫しています。本書は、日本でも少し話題になったので、聞いたことのある方も少なからず居るのではないでしょうか。私も書籍を英語で全て読みましたが、評判どおり「これまでの考え方と人生を根本的に変えてしまうスゴ本」で、事あるごとに人にオススメしています。

Center for Human Sleep Science (人類睡眠科学センター)創始者・所長でもある著者のマシュー・ウォーカー氏が、 Google で講演したビデオがありましたので、まとめてみました。書籍を全て読むのは時間がかかりますが、本トークであれば要点が30分程度で把握できるので、時間の無い方、要点だけをざっと掴みたい方にオススメです。

少し難し目の医学系・生物系の用語も出てきますが、ウォーカー氏の話し方もゆっくりで、字幕もついているので、割と簡単に理解できるでしょう。

講演ビデオはこちら

  • 生殖器

    • 5時間しか寝ない男性は、もっと寝る男性に比べて睾丸が小さい
    • 女性の生殖能力についても同じ
  • 記憶

    • 学習した後で、記憶に「保存」するには、睡眠が必要 …

Continue reading

テスラ自動車 人工知能部門長のアンドレイ・カルパシー氏による「ソフトウェア 2.0 スタックの開発」最新講演

Posted on 2018-06-13(水) in Deep Learning

テスラ自動車の人工知能部門長 (director) であるアンドレイ・カルパシー (Andrej Karpathy) 氏。 少し前に、ソフトウェア 2.0という概念を提唱したことで少し話題になったことを 覚えてらっしゃる方も居るかもしれません。ソフトウェア 2.0 とは、ニューラル・ネットワークに代表されるように、 枠組みと大量のデータを人間が与えるだけで問題を解けるように内部構造が最適化されるフレームワークのことを指します。

この「ソフトウェア 2.0」のおかげで、これまで「人間がどうやってプログラムするか分からかった」ような問題、例えば、 画像認識や音声認識・音声合成、機械翻訳やゲーム(囲碁)などで、近年、目覚ましい性能の向上が達成されたことは、この分野の進歩を追っている方なら 既にご存知ではないでしょうか。

本記事では、カルパシー氏の最新の講演「ソフトウェア 2.0 スタックの開発」のまとめおよび用語集を紹介します。 話が非常に面白く、また、機械学習を現実の問題に適用している方なら「あるある」とうなずける内容ばかりですので …


Continue reading

Ilya Sutskever 氏によるメタ学習と自己学習の最前線 (MIT 講義まとめ)

Posted on 2018-05-25(金) in Deep Learning

OpenAI の共同創立者兼研究ディレクターである Ilya Sutskever 氏。過去 5 年以内の論文の総引用数が 46,000 を超えるという、名実共に現在の人工知能・深層学習分野の第一人者でしょう。

MIT の「汎用人工知能(Artificial General Intelligence)」という講義シリーズの中でのSutskever 氏の講演が上がっていましたので、今回は抄訳とともにご紹介します。 メタ学習や自己学習など、最先端の話題もさることながら、進化論への言及など、非常に示唆深い、分かりやすい講演でおすすめです。

講演ビデオはこちら

はじめに

  • そもそも深層学習はなぜうまくいくか
    • 定理:与えられたデータに対して、そのデータを生成できる最小のプログラムが、最も良い予測ができる
    • ただし、データが与えられたときに、そのデータを生成できる最小のプログラムを見つけることは困難である
    • 最小のプログラムの代わりに、最小の「回路」なら、逆伝播を使って見つけることができる
    • AI の基礎となる事実
    • ニューラルネットの訓練 → ニューラル「式」を解いている
    • N個の Nビットの数字を …

Continue reading

機械学習:技術的負債の高金利クレジットカード

Posted on 2018-05-04(金) in Machine Learning

Google で機械学習システムの開発に携わる D. Scully 氏らによる

Machine Learning: The High-Interest Credit Card of Technical Debt (機械学習:技術的負債の高金利クレジットカード)

という論文。機械学習は、複雑なシステムを素早く開発するにあたって非常に強力なツールとなるが、それと同時に、 大きな技術的負債(メンテナンスコスト)を抱えるリスクがある。そのリスク要因と対処法についてまとめたのが本論文。

発表当時、日本でも少し話題になったので、日本語で検索するといくつか翻訳を目にすることができますが、 ここでは、あらためて抄訳を試みるとともに、読む上で重要となる単語・表現を最後に紹介したいと思います。

概要

機械学習は、複雑なシステムを素早く開発するにあたって非常に強力なツールとなるが、これらのメリットがタダで 享受できると考えるのは危ない。機械学習を使う場合、システムのレベルで非常に大きな技術的負債(メンテナンスコスト) を抱えるリスクがある。

  1. 機械学習と複雑なシステム

    • 機械学習パッケージは、通常のコードとして複雑さの問題をはらんでいるのと同時に、 システムレベルで「隠れた」技術的負債を抱える恐れがある。

    • 本論文では、機械学習のコードと、大きなシステムレベルとの間の相互作用に焦点を当てる。 ここに隠れた技術的負債が溜まりやすい …


Continue reading

「あなたはどのようにして英語が流暢になりましたか」に対するHacker Newsのコミュニティの反応

Posted on 2018-04-29(日) in English

Hacker News にて、Ask HN: How did you become fluent in English? 「あなたはどのようにして英語が流暢になりましたか」というスレッドが人気になっていたので、少し前のことですが、人気のコメントをかいつまんで紹介したいと思います。

(Hacker News は、トップページに上がってくる記事と議論の質が高いので良く見ています。英語で技術系のトレンドを追いたい方は要チェックのサイトです。)

以下、「どのようにして英語が流暢になりましたか?」の回答:

  • たくさん読む。Reddit や Hacker News, Slaskdot など。本、小説も。たくさん聞く。映画を英語音声+英語字幕で見る。 たくさん書く。英語でメモを取る。コードのコメントを英語で書く。上達はあまり気にしない。時間がかかるが、続けていれば必ず効果は現れる。- bayindirh

  • 真似をする。読み書きを最初に習うと、ひどい訛りがつく。言語の全体を把握してから、読んだり文法を詳しく勉強する。 - robocat

  • 「間違ったことを言うかも …


Continue reading

YC サム・アルトマン氏による生産性を高めるアドバイス

Posted on 2018-04-08(日) in Productivity

Y Combinator の代表サム・アルトマン氏による「生産性」と題されたブログ記事。弱冠三十代にして Y Combinator の代表を勤め、OpenAI の創立に関わるなど、本人も書いているように、生産性が非常に高い人物の一人であることは言うまでもありませんが、生産性を高めるためのアドバイスが詳細に書かれています。

本人の生産性や哲学等については、以前のインタビュー などでも断片的に語られていますが、こういってまとめて書かれていると、生産性を高めるための本人の考え方や試行錯誤がよくわかります。

  • はじめに

    • 「複利効果」は金融だけではなくキャリアにも魔法のような効果がある。
    • 小さな差であっても50年間積み重ねることで大きな差に。生産性を高めることには意義がある
    • 10%多くの仕事をこなし、毎日1%ずつ向上すれば、そうではない人との差は大きなものに
  • 何に取り組むか

    • 生産性のために最も重要なのは、正しいことに取り組むこと
    • 「すごい人」は、他の人にはない、世界に対する信念がある
    • 自分が話す人皆と同じ考えなら、それは悪い兆候
    • スケジュールの中に、考える時間を残す。本を読む、面白い人と時間を過ごす、自然の中で過ごす、など
    • 自分が好きなこと、大切だと思うことに取り組む
    • 他の人も、自分の好きなことをする時に最も生産性が高い。委譲する時はそれを意識する …

Continue reading

Googleの研究者が教える、良い機械学習プロダクトを実装するための43のルール

Posted on 2018-03-25(日) in Machine Learning

Google のリサーチ・サイエンティストである Martin Zinkevich 氏によって書かれた、機械学習を使った良いプロダクトを開発するためのコツを集めた記事。エンジニアが良い機械学習プロダクトを作るには、機械学習の専門知識が無いことに苦心するのではなく、得意なエンジニアリングの技術を活かすことが重要、というのが主な趣旨です。

紹介記事:Rules of Machine Learning: Best Practices for ML Engineering

  • はじめに

    • ほとんどの問題はエンジニアリングに関する問題である
    • 性能向上は、良い機械学習のアルゴリズムではなく、良い素性によってもたらされる
  • 機械学習の前に

    • ルール1. 本当に必要になるまで機械学習を使わない
    • ルール2. まず指標を設計、実装する
    • ルール3. ヒューリスティックが複雑になりすぎる前に、機械学習に移行する
  • フェーズI: 最初のパイプライン

    • ルール4. 最初のモデルはシンプルに。インフラをまず整える
    • ルール5. インフラを機械学習とは独立にテストする
      • 素性は正しく計算できているか。モデルは訓練環境とテスト環境で同じ値を返すか。
    • ルール6. パイプラインをコピーする場合は、欠損データに気をつける
    • ルール7. ヒューリスティックを素性に変換するか、外部的に扱う …

Continue reading

GAN (敵対的生成ネットワーク) チュートリアル @ NIPS 2016 まとめ - Ian Goodfellow

Posted on 2018-02-28(水) in Deep Learning

Ian Goodfellow による、GAN (Generative Adversarial Network; 敵対的生成ネットワーク) のチュートリアル。 Goodfellow 氏は GAN のそもそもの生みの親であり、教科書「Deep Learning」の著者としても有名。 2時間と、とても長い盛りだくさんのチュートリアルだが、分かりやすく、具体例やコツなどの満載なので、とても参考になる。

GAN (敵対的生成ネットワーク) チュートリアル @ NIPS 2016

  • 生成モデリング

    • 訓練データから確率分布の表現を得る
      • 密度推定
      • サンプル生成
  • なぜ生成モデルを研究するか

    • これまでの機械学習 1つの入力に対して1つの出力
    • 高次元確率分布は重要な対象
    • 強化学習の未来、計画をシミュレーションできる
    • 欠損値の扱い、半教師あり学習
    • マルチモーダル出力
      • 例:ビデオの次のフレームを予測
        • 多くの可能性があるので、ぼやけた画像になってしまう
      • 画像超解像技術
      • iGAN → 人間が線画を書くだけで、写真クオリティの画像を生成
      • 画像→画像翻訳 条件付きGAN
        • 線画→写真、航空写真→地図 …

Continue reading