「deep learning」カテゴリーの記事一覧

Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation という論文を読んでいたら，参考文献にHinton教授の論文じゃなくてインターネット公開のビデオが指定されていた．Neural networks for machine learning. Coursera, video lectures.このビデオが後で編集されたみたいで指定されたチャプターに知りたいことが出てこない．仕方ないので最初から見てるけど，すごく時間がかかる．まあ英語読むのも時間かかるから一緒か．とほほ．

バイアス無くても良くない？そう言えば，全結合層だってバイアス無くても良くない？ネットで調べたけど，答は分からなかった．

答が探せないので自分で考えた．バイアスは活性化関数の閾値というか活性レベルを変える働きをする．そのために付いているのではないかな．

その 活性化関数がなぜReLUみたいな形をしているのかについては，「ゼロからつくるディープラーニング」に，ネットワークに非線形を加えることで複雑な表現が可能になると書いてある．

あと多チャンネル（普通はRGB）の畳み込みでチャンネル毎の結果を加算して出力する理由もなぜ？分けてはいけないの？加算するがゆえに1×1のフィルターの意味が生じる訳なんだが．加算しなければ1×1の畳み込みって何もしてないのと同じだものね．

深層学習でなぜ1個1個学習しないのかな？（これをオンライン学習と呼ぶと後で知った）と思って調べたら，ココに解説してあった．オンライン学習はミニバッチ学習のバッチサイズ＝1に相当するよね．そのミニバッチの個数決めは勘と経験によるようだ．

近頃のAIブームに乗っかって、証券会社や銀行が「AI外貨予測」「AI為替予測」なんてのを始めた。3年くらい前に一部の証券会社が提供していたた「過去チャート検索機能」と本質的には同じだ。基本は同じで（ここすごく重要）「チャートの形が同じなら同じ結果を生む」という考え方に基づいている。この考え方が正しいのなら、AIで相場を正しく予想することができる。AIは教師あり学習は得意なのだ。

ところが残念なことに先の考え方は間違っている。全く同じチャートの形が生じても、いつも同じ方向に値が動くとは限らない。つまり入力データが同じでも、教師データが正反対になる（相場は上がるか下がるかしかないからね）ことがある。これをdeep learningに突っ込むと学習が進まないというか学習ができない。

これはうれしい結果だ。アホな連中が何千台のGPUを並べて数メガワットの電力を消費して相場を予想しても、歴戦のたったひとりの相場師にかなわないのだ。なんと痛快な。

私はdeep learningの研究を仕事にしてはいるが相場師でもあるので、この結果はなんだかうれしい。人間はまだまだすてたものではない。

Binarized Neural Networksの論文を読んでいて分からないところがあった．Stochastic binarizationの部分だ．論文には，

と書いてある．σの形は分かるがprobabilityが分からない．ネットをさまよっていたら解説サイトを見つけた．こんな意味らしい．

あれ？σ(x)の形が違うようにも思えるが．．．

Starix10を使っているんだって．

FPGAを使うんならリコンフィギャラブル性能を生かさなきゃだめだよ．まだまだだね．

MSはソフトを作るのはへたくそだけど，ハード（マウスとか）作るのはけっこううまいんだよね．もうソフトウェアを作るのは止めてハード専業になればみんな幸せになれるのに．

PYNQ-Z1を買った縁でPythonとjupyterを使うようになったんだが，jupyterの使い勝手の良さに感心している．結果がすぐに分かるインタープリター言語環境は分かりやすい．インタープリター言語を使うのは，MZ-80KのBASICとSunのCommon Lisp以来だ．