「ニューラルネット」カテゴリーの記事一覧

昨日，株とFXでお小遣いを得たので，PYNQ-Z1 Boardを買おうと思う．こいつで動くPYNQプロジェクトはdeep learingの推論だけなんだよな．私がやりたいのは学習だ．そのためにはPYNQ-Z1ではロジックセルもメモリも全然足りない（たぶん二桁以上足りない）．でも，遊ぶにはPYNQ-Z1でいいんだよ．楽しみ．

近頃，特に外国でdeep learningにFPGAを使う動きが加速している．CPUやGPUやスパコンを使うのに比べ，LSIの設計は難易度が高いので，まだFPGAはマイノリティだ．ある人はこんなことを言っていた．

「FPGAを使いこなすスキルを身に付ける一方で、アプリケーションの高速化手法は、FPGA以外にもありますよね。通常のCPUにも並列処理をするSIMD（Single Instruction Multiple Data）命令、MIMD（Multiple Instruction Multiple Data）命令があるし、GPUで高速化するやり方もある。FPGA、CPU、GPUの3通りの手法の最適化を検討できて、その上で「一番良いのはFPGAだ」と評価できる人はごく限られています。」

そうなんだよねえ．FPGAを使えるって，研究者としてはかなりアドバンテージがあるよ．小学生のプログラマはたくさんいるが，小学生のFPGA設計者はいないんだよ．どっちが高度かこれで分かるってものだろう．ちなみにガソリンエンジンの設計者も小学生にはいない．

ディープラーニングではCNN（Convolutional Neural Network）が基本になっているけど，なぜconvolutional＝畳み込みなのかをみんな直感的に理解しているだろうか．その答はココにあった．ポイントは

畳み込みにより点ではなく領域ベースでの特徴抽出が可能になり，画像の移動や変形などに頑健になる．また，エッジなど領域ベースでないとわからない特徴抽出も可能になる．

なのでした．

日本ロボット学会誌の4月号のp.8～13に「深層学習による画像認識」という記事が載っている．これを書いたのが中部大学の藤吉弘亘氏だ．SIFT特徴量の解説で藤吉氏にはさんざんお世話になっている．その藤吉氏が深層学習にも深い知見を持っているとはさすがというしかない．すごいな．

この4月号は人工知能特集で，他にも深層学習に関する分かりやすい記事がたくさん載っている．お勧めだ．

Deep Learningで相場を予想する試みをしている．少し学習させてみたが，結果は芳しくない．そりゃそうだろう．簡単に金儲けができるなんて話があるわけがない．しかし，簡単でないので，俄然やる気が湧いてきている．寝る間を惜しんでプログラミング三昧だ．

Deep Learningの学習に例のDELL Poweredgeを使っている．デュアルXEON 3.8GHzなんだが，負荷をかけると凍るという素敵なマシンだ．学習しているとさっそく凍ってくれた．凍ると電源スイッチを押しに行かなければならないので面倒だが，凍らずに動いている間は高速処理をしてくれる．10年もののマシンなので，これが最後の大仕事になりそうだ．終わったら引退させてあげよう．

それはともかく，ニューラルネットを扱うのは初めてなので，いろいろ試行錯誤があった．

• 結合荷重の初期値の期待値は0にした方が良いようだ．初期値は乱数で決めていたんだが，その期待値が0から外れると妙なローカルミニマムに収束してしまう．
• かといって，初期値を全0にしたのでは学習が進まない．
• 同じ入力-教師データの組を複数回使わないとなかなか学習が収束しない．これはデータの数が十分に大きければ1回だけ使っても済むんだろうか．

これらの性質も一般的なものではなく，私が使っている入力データ（経済指数）特有のものかもしれない．

Deep Learingが注目されている．画像認識や音声認識の研究分野で成果を上げている．googleやmicrosoftもDeep Learingを技術開発している．このDeep Learningを相場に適用できることに気付いている研究者は世界中で10人をくだるまい．

現在，システムを構築中だ．Deep Learingを使うこと自体は誰でも思いつきそうなんだが，そのチューニングは結構職人芸的なところがあり，誰でも成功すると言う訳ではない．誰が一番先に成功するか競争だ．ただし，最初に成功した人が名誉欲が強ければ学会で発表するんだろうけど，そうでなければこっそり大金持ちになって黙っているということもあり得る．私は言いふらかしたい方なので，うまく行ったら学会発表するつもりだ．それでも実際に大金持ちになってからでないと説得力がないかもしれない．