「ニューラルネット」カテゴリーの記事一覧

2018-03-14

電流の電子ってそんなに遅かったのか

神経細胞の情報伝達速度を調べていて,よくまとめているサイトに出会った.神経細胞の伝達速度は分かったが,それより電線の中の電子が動く速度の説明にショックを受けた.そうだったの?そんなに遅かったの.にわかには信じがたいが,たぶん本当なのだろう.マックスウエル方程式を吟味すれば分かるのかな?今式を見てみたけど,あまり関係ないことが分かった.そこで,さらに調べると,わかりやすく電子の速度を計算しているサイトを見つけた.なるほどー.

続きを読む
2018-03-14

次の脳の進化

生物の脳がさらに進化するとしたら

  1. コンパクト化した高次元を経由して3次元に相互作用できるようになる
  2. 量子もつれを利用した超並列最適化ができるようになる

のどちらかか,両方のような気がするよ.

続きを読む
2018-03-06

数学的に証明できる方が怪しい

積分型のニューラルネットワークに見切りをつけて,スパイキングニューラルネットワークの方を考えているが,先行文献を読んでいて「!?」と思った.直感的に動くと思われる学習則(しかもHebb則にのっとっている)を提案し,その学習が収束することを数学的に証明しているのだ.よくある論文のパターンだが,何かひっかかった.

学習が収束することを数学的に証明できるってことは,みんな利口になるってことじゃないか.個体によって利口さが違うことを説明できなくなるんじゃないか.なんだかおかしい.実際の生き物の学習は,数学的に証明できてはいけないのじゃないかと思えた.

私が見捨てたディープラーニングも,実は数学的証明を捨てて実利に走って成功している.数学的証明を捨てた割り切りの点ではディープラーニングを褒めたい.

続きを読む
2018-03-01

アミノ酸は微分しない

ディープラーニングの研究を長くやってきたが,もう見限ろうと思う.ディープラーニングの枠組みでは,ニューロンをいくら増やしても,層をいくら増やしても,発明発見ができるような知能は生まれない.バックプロパゲーションで学習するというのは無理があると思う.本物の脳のメカニズムと違い過ぎる.アミノ酸がどんなにからみあったって,微分するようにはならない.エッジを見つけるような微分もどきはするかもしれないが,ニューロンの結合強度を調整するような微分を生物の脳がするというのはあまりに不自然だ.

たぶん,20年後にはディープラーニングは研究されてないと思うよ.あれって,要するに入力ベクトルをひどく簡単な出力ベクトルに変換するだけの組み合わせ回路じゃない.研究する部分なんかないよ.

続きを読む
2018-02-01

IBMのニューロモーフィックデバイスが凄い

日本アイ・ビー・エム 東京基礎研究所 山道 新太郎氏へのインタビュー記事より


次世代デバイスでは、相が変化することで抵抗値が変動する材料でメモリ素子を作ります。配線の交点部分にその相変化メモリを置き、外部からのパルス(信号)が繰り返し与えられるにつれ、そこの抵抗が自然に低下するしくみです。滅多にパルスがこない状態を、記憶する価値の無い情報とみなし、そこの素子は抵抗が高いまま残ります。デバイス自体の経験、つまり素子特性の経時変化を、記憶に活用しようとするものです。製造技術的には相変化メモリ(phase-change memory)のような不揮発性メモリに近いイメージになります。


重みの学習をシンプルに自動化できている.この発想はすごい.デジタルの発想から抜け出せなかった私にとっては目から鱗.もう深層学習(=ディープラーニング)は研究対象としては時代遅れになったと感じる.

あれ,でもいったん増えた重み(低下した抵抗値)を減らすことはできるのかな?パルスが来ないと抵抗が増えるしくみが要るなあ.そうでないと学習がうまく行えない.

続きを読む
2018-01-10

Google TPU2が今のところ最高性能

Interface誌の2018年2月号に,世界のAIチップの比較表が載っていた.GoogleのチップTPU2は性能の絶対値でも,性能消費電力比でもトップだった.すごいなGoogle.TPU2を超えたいものだが,FPGAでは無理そうな感じだ.リコンフィギャラブルな点を生かした特長がないとFPGAの立ち位置がないなあ.

同じ2月号の27ページに胸のすくようなインテルの発言が書いてあった.引用記事はもうなくなったみたいなので,そのまま書き写しておく.


GPUにはマシンラーニングに必要のない電気回路が数多く存在する.長年にわたって蓄積された価値のない回路で,非常に数が多い.

ニューラルネットワークは非常にシンプルで,ちょっとした行列の乗算と非線形性で成り立っている.直接シリコンを構築して行うことも可能なのだ.ニューラルネットワークのアーキテクチャに非常に忠実なシリコンを構築すればいい.これはGPUにはできないことだ.


もっと言ってやれと応援したくなるが,こうなると私の敵はnVidiaではなくてインテルになるのかもしれない.nVidia相手なら私でも勝てると踏んでいたが,インテル相手だと勝ち目がないような気がする.インテルってアルテラも買収しちゃったからね.

続きを読む
2017-12-02

ブルーマウンテン珈琲は遺伝的アルゴリズムで淹れる

私はブルーマウンテン珈琲が一番好きだ。何十年も前に喫茶店で初めて飲んだブルーマウンテン珈琲のおいしさに感動してからずっと好きだ。あの味を再現するために試行錯誤して淹れているのだが未だに満足できる味と香りにならない。珈琲淹れは難しい。パラメーターは以下の通り。

  • 珈琲豆 100g 500円から2500円までいろいろある。もちろんブレンドではなく100%ブルマン
  • 焙煎 変更したいが家に機材がないのでこれは豆屋さん任せ
  • 挽き方 ミルの粗さつまみが30段階くらい変えられる
  • 粉とお湯の割合 12gで180ccが基本だけど、粉の量を18gまで増やすことができる
  • 一度に入れる量 12g(一杯分)から36g(三杯分)
  • フィルター 紙フィルターが2種。ステンレスフィルターが1種
  • お湯の温度 85℃から90℃

これらのパラメータを総当たりで試すと

5×30×7×3×3×2=18900

1日4回飲むから4回試行できる。すると全部を試すのに

18900÷4=4725日=13年

かかる。ブルマン以外の豆も飲んでいるから実際はもっとかかる。これでは死ぬまでに求める味を見つけ出すのは絶望的だ。喫茶店のマスターは短期間に美味しい珈琲を淹れる技を身に着けているのだからすごい。まさに職人だ。素人の私が総当たりではなく最適解を見つけ出すためには遺伝的アルゴリズムを使うという手がある。これはディープラーニングのハイパーパラメータの最適化をするときに覚えた。これを使えば時間を短縮できる。なんとか生きている間に美味しいブルーマウンテン珈琲を飲みたい。

ただし、悲しい情報もある。今はもうブルーマウンテン珈琲をおいしく飲むことはできないかもしれないのだ。なんでも昔はブルーマウンテンの豆を洗うのにジャマイカのおばちゃんがおしゃべりしながらだらだら洗っていた。それが今は機械で洗っている。本当かどうかは分からないが機械で洗うとおいしくなくなるのだとか。それが本当だとしたら、昔の味を再現することはもうできないかもしれない。何でも機械化するのはよくないという良い例だ。あとは自然災害。2012年10月にジャマイカを襲ったハリケーン「サンディ」により、多くのコーヒーの木が倒れるなどの被害を受けた。2013年、コーヒーの葉の光合成機能を奪い2~3年で枯らしてしまう、強い伝染力をもつ「さび病」と、コーヒーの実に入り込んで卵を産みふ化した幼虫が種子を食べてしまうコーヒーベリーボーラーの病虫害の被害が発生した。ブルーマウンテンの木が減ってしまったのだ。その中から選別するおいしい豆の絶対量も減っている。ブルーマウンテンを取り巻く環境はとても厳しい。おいしいブルーマウンテン珈琲を飲める日が来るのだろうか。

 

続きを読む