「deep learning」タグの記事一覧

積分型のニューラルネットワークに見切りをつけて，スパイキングニューラルネットワークの方を考えているが，先行文献を読んでいて「！？」と思った．直感的に動くと思われる学習則（しかもHebb則にのっとっている）を提案し，その学習が収束することを数学的に証明しているのだ．よくある論文のパターンだが，何かひっかかった．

学習が収束することを数学的に証明できるってことは，みんな利口になるってことじゃないか．個体によって利口さが違うことを説明できなくなるんじゃないか．なんだかおかしい．実際の生き物の学習は，数学的に証明できてはいけないのじゃないかと思えた．

私が見捨てたディープラーニングも，実は数学的証明を捨てて実利に走って成功している．数学的証明を捨てた割り切りの点ではディープラーニングを褒めたい．

ディープラーニングの研究を長くやってきたが，もう見限ろうと思う．ディープラーニングの枠組みでは，ニューロンをいくら増やしても，層をいくら増やしても，発明発見ができるような知能は生まれない．バックプロパゲーションで学習するというのは無理があると思う．本物の脳のメカニズムと違い過ぎる．アミノ酸がどんなにからみあったって，微分するようにはならない．エッジを見つけるような微分もどきはするかもしれないが，ニューロンの結合強度を調整するような微分を生物の脳がするというのはあまりに不自然だ．

たぶん，20年後にはディープラーニングは研究されてないと思うよ．あれって，要するに入力ベクトルをひどく簡単な出力ベクトルに変換するだけの組み合わせ回路じゃない．研究する部分なんかないよ．

日本アイ・ビー・エム 東京基礎研究所 山道 新太郎氏へのインタビュー記事より

次世代デバイスでは、相が変化することで抵抗値が変動する材料でメモリ素子を作ります。配線の交点部分にその相変化メモリを置き、外部からのパルス（信号）が繰り返し与えられるにつれ、そこの抵抗が自然に低下するしくみです。滅多にパルスがこない状態を、記憶する価値の無い情報とみなし、そこの素子は抵抗が高いまま残ります。デバイス自体の経験、つまり素子特性の経時変化を、記憶に活用しようとするものです。製造技術的には相変化メモリ(phase-change memory)のような不揮発性メモリに近いイメージになります。

重みの学習をシンプルに自動化できている．この発想はすごい．デジタルの発想から抜け出せなかった私にとっては目から鱗．もう深層学習（＝ディープラーニング）は研究対象としては時代遅れになったと感じる．

あれ，でもいったん増えた重み（低下した抵抗値）を減らすことはできるのかな？パルスが来ないと抵抗が増えるしくみが要るなあ．そうでないと学習がうまく行えない．

Interface誌の2018年2月号に，世界のAIチップの比較表が載っていた．GoogleのチップTPU2は性能の絶対値でも，性能消費電力比でもトップだった．すごいなGoogle．TPU2を超えたいものだが，FPGAでは無理そうな感じだ．リコンフィギャラブルな点を生かした特長がないとFPGAの立ち位置がないなあ．

同じ2月号の27ページに胸のすくようなインテルの発言が書いてあった．引用記事はもうなくなったみたいなので，そのまま書き写しておく．

GPUにはマシンラーニングに必要のない電気回路が数多く存在する．長年にわたって蓄積された価値のない回路で，非常に数が多い．

ニューラルネットワークは非常にシンプルで，ちょっとした行列の乗算と非線形性で成り立っている．直接シリコンを構築して行うことも可能なのだ．ニューラルネットワークのアーキテクチャに非常に忠実なシリコンを構築すればいい．これはGPUにはできないことだ．

もっと言ってやれと応援したくなるが，こうなると私の敵はnVidiaではなくてインテルになるのかもしれない．nVidia相手なら私でも勝てると踏んでいたが，インテル相手だと勝ち目がないような気がする．インテルってアルテラも買収しちゃったからね．

出るとは思っていたがついに出たか．どいつもこいつも欲まみれだ．ああ，情けない．そのうちdeep learning専用ビデオカードも出るだろうな．deep learning専用ASICかFPGAが出てくるまでの寿命だろうが．

日本ロボット学会誌に「Google翻訳が深層学習バージョンにアップデートされた」とあった．へえー，そうなんだと思い，初めてGoogle翻訳を使ってみた．長い文章が一瞬で翻訳された．なぜにこんなに早いのか？できあがった文章は私が翻訳するよりずっと上手だ．もう市販の翻訳ソフトは買えないな．スマホにしゃべって翻訳してもらうというのも現実的になってきた．フランスとかノルウェーとか言葉のわからない国へ行っても大丈夫そう．ああそうだ，台湾で試してみようかな．たぶんまたすぐ遊びに行くことになりそうだし．

エンジンのエンジニアが何をやっているんだと言われそうだが，Deep learningをFPGAで行うことに取り組んでいる．GPUはもう飽きたし，GPUのエネルギー効率の悪さは地球環境にとって悪だと思う．既に，amazonやgoogle，intelが同じ課題に取り組んでいる．学会レベルではいくつも研究成果が発表されている．この方向性が変わることはないだろう．日本の企業ではPALTEKとベクトロジーが頑張っている．負けてはいられない．