「ニューラルネット」カテゴリーの記事一覧

Huaweiが発表したKirin 970チップ．中身を知りたいのだけれど，ネットの情報では中身に関する言及はなし．スマートフォンに積んでいるGPUより4倍速いそうだ．でもそれって10nmプロセスのASICなら当たり前な気がする．deep learningに必要なのは並列の積和演算と演算結果を保持する高速メモリだが，それらをASICに作り込んだのだろう．それにCPUコアも入れてSoCとしている感じ．CPU，GPUに続く「NPU」(ニューラルネットワーク・プロセシング・ユニット)と位置づけるそうだけど，これは単にネーミングだけの問題だな．

あ，そうそう，tensorflowのライブラリに対応してるってことだから，やっぱただの積和演算並列化チップだよね．特別なネットワーク構成に限定したカスタムAIチップじゃない．

後はネットにさらなる情報がアップロードされるのを待とう．後藤弘茂さんが解説記事書いてくれないかな．

CUDAを使う場合，最新のCUDAはCC（=ComputeCapability）が大きいカード（新しいカード）でないと使えない．deep learningのフレームワークの最新バージョンは最新のCUDAで動くように作られる．古いCUDAでは動かない。最新のCUDAを使いたかったら古いCUDA用の古いビデオカードを外してCCの大きい新しいビデオカードを付けるしかない．普通にソフトウェアを作る人だったらソフトがバージョンアップしても古いカードでも動くように工夫するはずだ．ところがCUDAを作っている奴はそれをしない．たぶんわざとそうしている．古いカードを廃棄して，新しいカードを買ってくれた方がnVidiaが儲かるからだ．せこいよ．マイクロソフトよりせこい．せこい奴は嫌いなので私はCUDAは使わないことにした．自分でFPGAでアクセラレータを作るよ．学習用アクセラレータを作るのはとても難しいけれど，せこい奴を利するくらいなら困難に挑戦する．

SONYのNeural Network Consoleで添付されていたプロジェクトsemi_supervised_learning_VATを動かした．VATというのはVirtual Adversarial Trainingのことだ．VATは説明を読んでも良く分からなかったが，ConsoleのEDITタブで計算グラフを見たら分かった．なんと分かりやすい．すごいよSONY．

SONYのNeural Network Consoleを動かすのにWindows10かWindows8.1が必要だが，職場にWindows8以上のマシンは1台しかない．Core2Quad 2.4GHz，メモリ4GBの古いマシンだ．i7を積んだハイスペックマシンはlinuxかWindows7で動いている．このマシンではメモリが足りないかなと思ったがにNeural Network Consoleをインストールしてみた．試してみるとメモリ不足を訴えることもなく動きだした．テンプレートとして入っていたニューラルネットワークは何とか耐えられるスピードで動いた（学習）．MNISTの文字認識だからそんなに重くはない．Core2Quadのマシンが今になって役立つとは思わなかった．

sonyのnnablaを使おうと，git cloneをしたのだが，引っ張ってきたのがDockerfileというテキストファイル．dockerイメージを作るためのスクリプトが書いてあるようだが，どうやって使うの？いろいろ調べるとdocker buildコマンドを使えば良いことが分かった

docker build -t local/nnabla-ext-cuda:tutorial -f tutorial/Dockerfile ../

とやってみると動いた．

SONYがまた面白いものを開発した．アプリなのでWindows8.1かWindows10が必要だ．Windows10が初めて役に立つかも．これまではWindows7の亜種としての意味しかなかった．そのWindows7もWindows2000の亜種でしかなかったが．

ディープラーニングが流行っている．私もその流行に乗っているが，ディープラーニングを使った人工知能？は全然脅威ではない．ディープラーニングでは，教師データがない問題や報酬値を算出できない問題は本質的に解けないからだ．人間の天才が行う発見や発明は，ディープラーニングがどんなに発達してもできない．人間は安心して発見，発明すれば良い．