この入口はKamiwikiでシンプルに作ってみました。

メインコンテンツはこちら
http://bluegale.ddo.jp/passwiki/passwiki.php

一時期pukiwikiを使っていてそのまま使い続けている
http://hireido.dyndns.org/pukiwiki/pukiwiki.php

おいしかったワイン

ふつうのワイン

そうでもないワイン

環境の状態がエージェントの観測として直接渡される（ o=s ）場合は必ず、行動を出力とするある決定論的な関数 π∗(s)で表すことが可能な最適方策が、少なくとも1つ存在する

Q値の更新が学習になる．すなわち
環境sで行動aをして環境s'になった．s'の元で最適な行動a'をしたときの価値Qが今のQ(s,a)より大きかったらQ(s,a)を増やす．行動aは価値を増やすものであったということ．逆も然り．

(s, a) の全ての組からサンプル (s, a, r, s') が無限回得られるとするなら、それらをどのような順番で与えたとしても上記のアルゴリズムで必ず最適な価値関数 Q∗(s,a) が得られるというのがQ学習の特徴．あまり大したことではない．

学習の結果得られたQ*(s,a)が最適ということは，環境sが決まると最適な行動aが決まるということ．え，今のsだけでいいの？という疑問が湧く．ここでマルコフ過程がどうちゃらというのが出てくる．

Q学習はマルコフ過程を前提としているが，普通の世の中は非マルコフ過程ではないのかな．

20Wと低消費電力だが，学習に時間がかかる（数十年）
同じ入力，同じ目標値でも，人によって学習結果が異なる

Q学習なのだろうか，違うのだろうか

数学的に記述できるものが最適とは限らない

マルコフ連鎖（マルコフれんさ、英: Markov chain）とは、確率過程の一種であるマルコフ過程のうち、とりうる状態が離散的（有限または可算）なもの（離散状態マルコフ過程）をいう。

時間的に一様な離散時間のマルコフ過程をマルコフ連鎖と言う

マルコフ過程はt1とt2という2時点の過程の結合確率で全てのふるまいが記述される過程である

各時刻において過程 (process) はある状態 (state) を取り、意思決定者 (decision maker) はその状態において利用可能な行動 (action) を任意に選択する。 その後過程はランダムに新しい状態へと遷移し、その際に意思決定者は状態遷移に対応した報酬 (reward) を受けとる

マルコフ性

非マルコフ決定過程
非マルコフ確率過程

PBギブンA，AのときのBの確率

学習者(Agent)がある状態である行動をとると，環境からの刺激入力（報酬）を受け取る．Agentの目標は，その報酬の累積値を最大化することである．Agentは環境との相互作用によって試行錯誤的に行動選択を改変する．この改変の仕組みに強化学習(Reinforcement Learning)が用いられる．ここで，環境のある状態でのある行動に対する瞬時の報酬を元に，その最終目標である報酬の累積値の最大化をはかるよう行動選択の仕方をうまく改変しなければならない．

ランダムウォークに近いものでは、たとえば第一歩目が右だったらその後、ランダムウォークは1歩幅にし、左だったらその後ランダムウォークは3歩幅にしましょう。すると次の移動は第一歩目がどちらかであったかに左右されます。第一歩目という過去の情報にいつまでも左右されるので、これはマルコフ連鎖にはなりません。現在の情報からは一歩目が必ずしも確定しないからです。

１．ある時点の状態は１つ前の状態のみに依存する（マルコフモデル）
２．状態が直接は観測できない。
３．状態に依存して、観測可能な変数の値（の確率分布）が決まる

参考URL
https://mathwords.net/hiddenmarkov

ビタビアルゴリズム
バウム・ウェルチアルゴリズム

確率論における確率過程の持つ特性の一種で、その過程の将来状態の条件付き確率分布が、現在状態のみに依存し、過去のいかなる状態にも依存しない特性を持つことをいう。すなわち、過去の状態が与えられたとき、現在の状態（過程の経路）は条件付き独立である。マルコフ性のある確率過程をマルコフ過程と呼ぶ。

マルコフ連鎖
隠れマルコフモデル

Hebb則は使おう
Short Term Synaptic Depressionはまず無視しよう
スパイキングニューラルネットワーク

微分方程式は近似解で軽く解きたい

マルコフ決定過程
Markov Decision Process

＝パルスニューラルネットワーク

ニューロン間で伝達される情報がが2値であるため電気回路上での実装に適している

内部電位の精密な計算（微分方程式）を行うために積分型ニューラルネットワークより計算量が多い

パルスの総量だけでなくタイミングもニューロンの挙動に影響を与えているというテンポラルコーディング理論の妥当性が生理学的研究により証明される

ディープラーニングは積分型ニューラルネットワークだった

積分型ニューラルネットワーク<->スパイキングニューラルネットワーク

ニューロモーフィック

素朴な疑問

StraightThroughEstimator

勾配消失とは

学習高速化

PentiumProにさえPAEがついているのにPentiumMにはPAE無しのモデルがある．なぜそんな作りにしたのだろう．なにか理由があるのだろうか．

手持ちのCPUはPentiumProとPentium3しかないが，どちらもPAEは付いていた．たぶんPentium2にも付いていると思う（確認はできず）．なぜ新しいPentiumMの一部だけPAEを削除したのか本当に謎．

バイナライズドNNでは学習が難しい

重み，バイアスのビット数を減らすのが2017現在の主流
並列性を上げると同時に，パイプラインを止めない設計

スパース重みというのもある

バイアスはなぜ要るの？生物のニューロンにあるから？重みだけではダメなの．

バイアスがないと，1段のニューラルネットと等価になる．1段では複雑なことができない．

知らなかったが以下は有名な話だとか．

有名な話ですが，3層（以上）の細胞層を持つ多層パーセプトロンは隠れ層の細胞が十分おおきな数だけあり，かつ隠れ層の活性化関数が非線形関数であれば任意の関数を近似することが出来る万能近似器です．

それはともかく，バイアスと重みを同じように重要視して学習するのでいいの？重みの方が重要じゃない？

普通のニューラルネットワークでは入力側の層の勾配が小さくなることを勾配消失問題という．

バイナライズドニューラルネットワークの場合はどうだろうか．

あるユニット（ニューロン）の出力aの勾配がゼロになったら．

活性化関数がLeLUだったら，hの勾配は入力yが0以上だろうと以下だろうとゼロになる．
シグモイドだったら，微分がσ(1-σ)なのでσがゼロならhの勾配はゼロになる．

hの勾配が前段のユニットに流れるが，全結合でも畳み込みでも積和なので，流れていく勾配はゼロ．

なので前段のユニットの勾配もその先ずっとゼロになるんじゃないかと心配になるが，前段のユニットは分岐しているので，分岐先のユニットの勾配がゼロでなければゼロになることは免れる．分岐の勾配はすべて足されるから．

勾配消失が問題となるのはかなりのニューロンの勾配がゼロにならないといけないような，あまり気にする必要がないような感じだが．

ビデオを見ると分かるとか．．．分からんぞ

すべてのjについて，pre-activation ajについての勾配×Wjiの和を，aiについての勾配Giの推定値とする．

i番めのユニットの出力aについての勾配Giは，
すべてのjについてΣGj・Wji
Wjiはi番めのユニットの出力がj番めのユニットに伝わるときの重み

GiとGjはどちらが出力段側なんだ？段落前半からGjの方が出力側と思われる

aとhの区別もあいまいだ．最初のajはたぶんhjの間違いだろう．

---結論---

前段（入力側）のユニットiの出力に対する勾配（微分）推定値は，後段のすべてのユニットの勾配にそのユニットへの重みを乗じたものの総和とする．

その心は，重みが大きいユニットjはiの出力の影響を多く受ける．なので，そのユニットjの勾配（微分）をより重要視して，ユニットiの勾配を推定する．

---疑問と答---

この結果は当たり前なのでは？うん，当たり前だ．以下の基本通りだ．

---そもそもの基本---

上流から流れてきた勾配はLeLUを通って０か変わらずになり，Wjiについての微分は上流からの勾配×hi（前段のi番めのユニットの出力）になる．

Bjについての微分は上流からの勾配そのものになる．

現ユニットの勾配(アクティベーション前のhについて）が前段へ伝わるとき，hは前段出力群の積和だ．和だから勾配はそのまま流れる．積だから勾配に重みWを乗じて流れる．

---気が付きにくい基本---

順伝播の際に複数に枝分かれして流れた場合，逆伝播のときには，それらの逆伝播の値が全て加算される．

技術的特異点のこと．そんな人工知能ができたら，プログラムのバグを自動的に取ってくれるし，脆弱性のないプログラムも自動生成されるはず．そんなこと，あるわけないでしょ．つまり常に人間の方が上．Singularityを心配するのはコンピュータ以下のバカな人だけ．

libretto20
TOSHIBA MK4050GAC, 38154MB w/8192kB Cache, CHS=4864/255/63

libretto70
IBM-DDLA-21620, 1551MB w/96kB Cache, CHS=788/64/63

COSTANERA MERLOT 2012
なんとまいばすで480円．濃厚ではないがフルーティで飲みやすい．

シャトー　グラン・ポルタイユ 2006
香りは良い．味はそれなり．

MOMMESSION MERLOT 2013
まずくはないが、軽い。いなげやで800円弱。

Finca Enguera 2012 Tempranillo
ココハナで購入。スペイン産。1280円のワインだが、おいしい。

Vina Villar RESERVA 2007
TEMPRANNILLOのワイン。フルーティな香り。開けたときからタンニンの具合が良くおいしい。もういちど見かけたら迷わず買い。

CHATEAY COUAT AOC BORDEAUX 2010
メルローメインで、カベルネソービニオンとカベルネフランとのブレンドワイン．開けてしばらく経つとメルローらしさが強く出てきてフルーティでタンニンの具合が良くなる．

CHATEAU CARIGNAN CADILLAC COTES DE BORDEAUX 2009
桑名屋で購入，階段をひとつ上がったエリアにあるミドルクラスのワイン．メルロー7割，後はカベルネソービニオンら．香りが良い．ややスパイシーな味わい．これもリピートするかも．

STORKS' TOWER ESTATE 2009
TEMPRANNILLOのワイン．香りはフルーティ．タンニンが強めだが，それがスパイシー系の肉料理にとても合う．餃子なんかにも良い．リピートする予定．

ASH TREE ESTATE MERLOT TEMPRANILLO 2011
今年から飲み始めたTEMPRANNILLOとMERLOTのブレンドワイン．どちらのブドウも好きな味なのでそれらのブレンドも当然おいしい．リピートするかも．

uva Bio Bio MERLOT
結構おいしい．開けてすぐよりちょっと経った方がおいしかった．

Le petit Sommelier 2010 メルロー
フランスの農業なんとかのコンテストで金賞をとったというワイン．700円台なので期待しないで買ったが，とてつもなくおいしい．驚いた．金賞というのは伊達じゃない．2000円台のプライスがついていてもおかしくない．

Pacific Peak メルロー
500円台のカリフォルニア格安ワイン．しかし，そこそこおいしい．この値段なら料理に使っても惜しくない．

EASY 2008 by ENIRA メルロー
ブルガリア産という珍しいワイン．メルローが好みだと店の人に伝えたら，「フランス産より泥くささがないですよ」と勧められたもの．たしかにフランス産より旨かった．そんな訳で次の日には２本めも買い求めた．
その後次々に飲み干して行き，現在7本目だ．店の在庫がなくなるまで飲み続けたい．

Chateau Sainte Colombe 2004 メルロー
開栓時には素晴らしいフルーティな香りを楽しめた．味もしっかりしていて良い．ところが6月に室温で2週間放置したら風味が悪くなってしまった．夏は早めに飲むか，ワインセラーに保管する必要がある．

CHATEAU SIRBIN FRONSAC 2003 メルロー
味は良いのだが、卵のような変な香りがある。それが安い理由か。

Chateau Moulin de L:Esperance Rouge 2000
シャトームーランドレスペランス　メルロー他
最初は平凡だがデキャンタリングの後、酸味がましてとても旨味が増した。

T DE TUTIAC Rouge 2003 メルロー他
開栓直後からまずまず．すごくうまいとは言えないが，少しフルーティで値段の割には良い．サザエさん通りの酒屋さんで買ったが，どのワインもとても安くなっていた．夏は売れないので割引率が上がるのだろうか．ありがたい．

Tortoise Creek 2007 メルローカベルネ
3本続けて買ってしまった．サザエさん通りのスーパーハミングステージで売っている．開栓直後でもうまい．味にくせがない．しょっちゅう飲んでいる．亀のラベルが特徴的．

Panul 2006 メルロー
1000円未満のワインにしては合格点を与えられる．フルーティな香りが良い．ただし，軽くミディアムボディだ．フルボディを飲みなれているので，ちょっと物足りない．家族は飲みやすいと言ってどんどん飲んでいる．

Chateau Alfa La Bernarde 2000 メルロー他
雑味がある。デキャンタリングしても雑味は変わらず。KBワインに騙されたようだ。

ALTUM TRRAMATER SHIRAZ 2005 ISLA DE MAIPO
開けた次の日には旨いとのことだったが、旨くならず。開けてすぐが一番マシだった。それでも価格にみあった味ではない。私なら980円以上の価格を付けることはできない。これもKBワインに騙された。

GRAND VIN DE BORDEAUX 2003 CHATEAU LAGAROSSE Les Comtes
味が弱い。デキャンタリングで多少マシになったが、それでも1500円の価値しかない。またまたKBワインに騙された。もう2度とKBワインからは買わないことに決定。

洛西一周さんの作ったTiddlywikiベースのwiki

http://rakusai.org/kamiwiki/

バックアップポリシー策定
バックアップスクリプト作成
akiary環境設定
rss出力環境設定
blogpet書き込み環境設定
セキュリティポリシー策定
セキュリティ設定
awstats設定（apache logが読めないので無理かも) or awstatsに代わるツール探し