気ままな技術者生活から人生について考える
技術置き場に新しい検索エンジンを実装しました。
ベースは N-gram ですが、出現確率が高いほどスコアが高くなるような計算を行い、スコアに関して降順に結果が表示されます。ただし、スコアが0.0001より小さくなる場合は検索対象にはなりません。スコアの最大値は恐らく1.0です。
この検索エンジンのよいところは比較的あいまいな検索に対応できることです。特に動詞、助動詞と言った、語尾が変化する単語の検索に威力を発揮します。
なお、本検索エンジンはN-gramの軽微な改良であるため、記事化は予定しておりません。
cuRAND を JCuda 環境で使用するための API である、jcurand の使い方をアップしました。
お膳立てが若干ありますが、それさえクリアすれば、シンプルな呼び出しで高速に乱数生成ができます。
メモリはデバイス側に確保する必要がありますが、メモリコピーを使えばホスト側に持ってきて使用することが可能です。
JCuda 版ニューラルネットのコードに関する説明記事をアップしました。CPU 版と比較して、以下の変更があります、
SimpleNet.java の forward() 計算で、bias を使用しないというバグがあったため、JCudaNNKernel.cu とともに修正しました。ただ、bias があってもなくても正答率に目立った変化はないようです。
JCuda 版ニューラルネットのソースコード解説は、現在作成中です。完成にはあと２〜３日かかると思いますので、好ご期待。
AutoEncoder 系のライブラリも作成中ですが、まだ動きません。
隠れ層のある場合のニューラルネットにおける逆誤差伝搬法の数式が間違っていたのを修正しました。
また、
正しくは 
以上訂正した記事をアップロードしました。
NeuralNet.java でバグが見つかり、本来
for (int y = 0; y < ysize; ++y) {
d += w[x][y] * bderivative[y]
}
と書くべきところを x に関して和を取っていました。修正し、GitHub を更新しました。
修正の結果、収束がさらに速くなった気がします。また、ループを繰り返すと過学習してしまう傾向がみられます。
JCuda の記事として、デバイスメモリの使い方〜カーネルの記述までを追加しました。
preparePtxFile() は JCuda というよりは JCudaDriverSample の機能なので、敢えて解説していません。
次はいよいよ JCuda を使ってニューラルネットを構築します。
JCuda ライブラリの利用方法を説明するためのプロジェクト JCudaSimple をGitHubにアップロードしました。
中身はほとんど JCudaDriverSample と同じですが、Java8 風に書き換えてあります。外部 JAR として jcuda, jcuda-natives を参照しているので、ここだけ各自の環境にあったファイル名に書き換えてください。
解説記事は一両日中に書きたいと思います。