「ニューラルネット」カテゴリーの記事一覧

5nmプロセス世代のトランジスタが見えてきた「Nanosheet」技術の記事をPC Watchで読んだ．個人的にはプロセスの微細化は7nmまでで，それより小さいと量子効果が効いてきて動かないと信じていた．だからムーアの法則も7nmまでだと予想していた．トランジスタを横に90度倒すだなんて，まるでコロンブスの卵だ．人間の知恵はすごいな．こんな知恵はディープラーニングでは生み出せない．

BNN-PYNQを使うためにPYNQ-Z1ボードを購入した．使い方はココに解説がある．いきなり使う前にjupyter notebookを使ってみようという訳で，ココを参考にリモートからブラウザで使えるようにした．

jupyter notebookはキーボードショートカットを覚えないと素早く操作できない．ココを参照．

jupyter notebookの使い方はココに良く解説されている．

Titan Xで快適にCUDAを使っていたんだが，実験でTitan Xを占有したいという人が出たので譲ってしまった．手元にあるのはQuadro NVS 290という古いカード．いちおうCUDA対応らしいので，これで動かすことにする．元の環境は

CUDA 8.0
cuDNN 6
chainer 2.0.1
driver 375

このままでは動かなかった．そこで，環境を古いものに変えた．

CUDA 6.5
cuDNN v2
chainer 2.0.0
driver 340

GPUは見えるんだが，cupyがちゃんと動かない．cuDNNを使うのを止めてみる．

CUDA 6.5
chainer 2.0.0
driver 340

CUDAの環境が正しく設定されていないと出る．うーむ，NVS290を使うのは無理か．CUDA環境がぐじゃぐじゃになっていても，gpuを使わないで動かす分にはchainerは正しく動く．

ディープラーニングで相場の動きを予測しようと独学で研究したきたが，今日参考文献を読んでみて私がシコシコ作ってきたディープラーニングはRecurrent Neural Networkであることが分かった．相場は時系列データを利用するから自然にこうなった．世の中的には画像系の応用が多く，それはCNN（=Convolutional Neural Network）が使われるそうだ．なるほどねえ．

参考文献を使わずに研究するとは無駄な回り道をしているだって？いや，その方が物事を深く理解できるんだよ．

アマゾンで1位の”ゼロから作るDeep Learning“を読んでいる．プログラムを手で打ち込んで走らせると理解が深まるとの方針のもと，さまざまなプログラムが載っていて，それを走らせながらDeep Learningを学んでいく．最初は軽いプログラムだったが，学習関係のプログラムは行数こそ少ないが重くなってきた．勾配（損失関数の重みによる偏微分）の計算をPythonインタープリターで走らせたら，1分たってもプロンプトが返ってこない．CPUロードをみると4なので計算しているみたいだ．いちおうXEON 3.8GHzのデュアルなんだけど．こんなことは久しぶりだ．Z80のマイコンでWICSコンパイラで書いたシミュレーションプログラムを走らせていた頃以来だ．フリーズしたのかなとちょっと不安になったが，珈琲を入れに行っている間にプロンプトが返ってきた．勾配はちゃんと計算されていた．これくらい時間がかかるとコンピューターを使って良かったと思えるなあ．

Pythonで書かれたプログラムを読んでいる．classの記述が出てくるととたんに読みにくくなる．C++でもクラスが出てくると読みにくくなっていた．オブジェクト指向プログラミング言語で読みやすかったのはsmalltalkだけだった．なぜだろう．私だけか？それとも一般的なことか？

私だけでないのだとしたら，オブジェクト指向プログラミングは生産性を上げるなんて大間違いで，その逆ということになる．本当のところはどうなのだろう．オブジェクト指向プログラミング言語で開発された市販のソフトウェアに多くのバグが入っていると考えると，後者じゃないのか．私はオブジェクト指向は使うべきではないように思う．アセンブラ言語で書いていた頃はそんなにバグは出なかったように思う．

Pythonのコマンドプロンプトから，xxx.pyを実行したかったんだが，Python3.6.1にはexecfile()が無かった．ネットをさまよったら，やっと方法が分かった．こんな基本的なこと，入門本に書いて欲しかったよ．