- ニューラルネットワークとは

• 直訳すれば「神経回路網」のことであり，厳密には，生体の神経系のネットワークを意味する言葉である．ニューラルネットの一例をFigに示す．図のように生体の神経細胞（ニューロン）を模擬した人工の素子を相互に接続して構成されるネットワークのことをニューラルネットと呼ぶ．

- バックプロパゲーション

• D.E.RＵＭＥＬＨＡＲＴらにより1986年に提案された教師付き学習法で，入力層・出力層および１つ以上の中間層で構成される多変数非線形最小化問題における確率的降下法の一種である。

- シグモイド関数

• sigmoid(ｘ)＝１／｛１＋exp（−２ｘ／μ０）｝
• μ０は曲線の傾きを表すパラメータである。このμ０が小さいとｘ＝０付近で曲線の傾きが大きくなり，ステップ関数と同様の働きをするようになる。

- バックプロパゲーションの改良あれこれ

• モーメント法（慣性率法）
  • BP法では重み係数w_ji、s_kjの修正量(更新値)Δw_ji、Δs_kjはその時の出力層における誤差への寄与量だけから求めていたが、モーメント法では前回の修正量も考慮する方法である。
• 特異点解消法
  • BP法では、教師信号(目的出力)と実際の出力が一致する場合の他に、中間層の出力および、出力層の出力値が0をとる場合、重みの修正が行われない。また、出力関数の導関数は最高でも0.25しかなく、学習(重み係数の修正)に時間がかかる。このような特異点を除き、誤差逆伝播量をある程度大きくして学習速度を上げるために式を修正する方法。

- 利用上のコツなど

• 実際の教師信号に若干のノイズを加えたデータを学習させることで，ネットワークの一般化能力が向上する．
• データセット数に対して中間層の数が多いときに繰り返し学習を進行させると過学習を生じる．
• 中間層のユニット数の決定
  • 入力層数をｎとした時，２ｎ＋１で有効であるとするもの
  • ２ｎ／３で十分であるとするもの
  • 赤池の情報量規準（AIC:akaike's information criterion）を用いるもの
  • NIC・・訓練データ上で任意の入力信号に対するモデルからの出力と教師信号（正解）との”ずれ”に中間層のユニット数を加えたもので評価する方法
  • しかし，理論的な方法が存在するわけではなく，各モデルごとに試行錯誤的に決定するのが現状
• 大域的最小値に収束させるためのコツ
  • Simulated annealing(焼きなまし法)を併用する方法
    • 重み＆閾値の修正式にξを加える
    • ξ：平均0で，分散T(s)の正規乱数項

- 関連項目

• 最急勾配法
• 焼きなまし法・シミュレーテッド・アニーリング
• 重回帰分析

- インターネット情報源

• 神経回路網モデル論　ｂｙ　浅川伸一氏
• ニューラルネットワーク　by　田中氏
• Meral Brain by NARY氏
• 〜ニューラルワールドへようこそ〜　by弘前大学電子情報システム工学科

• 非線形工学的手法による主観的森林情報の解析
   −ニューラルネットワークを用いた間伐木選定の試み−

• 気温予測を例にした内部記憶を持つニューラルネットワーク
• 　
• C.A.E Corporation WebSit
  • NeuralNetAssistant

- 関連書籍

• 入門と実習　ニューロコンピュータ　by 中野　馨　監修，技術評論社
• Ｃ言語による実用ニューロ・コンピューティング　ｂｙ計算機アルゴリズム研究会　ラッセル社
• 学習とニューラルネットワーク　ｂｙ　熊沢　逸夫　著　森北出版
• Ｃでつくるニューラルネットワーク　ｂｙ　平野広美　著　パーソナルメディア
• ニューラルネットワーク bｙ武藤　桂恭　著　産業図書
• ニューラルプログラム ｂｙ　安居院猛・長橋宏・高橋裕樹共著　昭晃堂

---

[前画面に戻る]