BONO's page -> マイ・研究室 -> Memo ->

   Memo - ニューラルネットワーク [2004年11月]
 ここでは,ニューラルネットワークをツールとして利用する際のメモを掲載しています.
 工学的な応用を目的としているので,主に誤差逆伝播学習型(Back Propagation)の多層パーセプトロンについての情報です.
- ニューラルネットワークとは
  • 直訳すれば「神経回路網」のことであり,厳密には,生体の神経系のネットワークを意味する言葉である.ニューラルネットの一例をFigに示す.図のように生体の神経細胞(ニューロン)を模擬した人工の素子を相互に接続して構成されるネットワークのことをニューラルネットと呼ぶ.
- バックプロパゲーション
  • D.E.RUMELHARTらにより1986年に提案された教師付き学習法で,入力層・出力層および1つ以上の中間層で構成される多変数非線形最小化問題における確率的降下法の一種である。
- シグモイド関数
  • sigmoid(x)=1/{1+exp(−2x/μ0)}
  • μ0は曲線の傾きを表すパラメータである。このμ0が小さいとx=0付近で曲線の傾きが大きくなり,ステップ関数と同様の働きをするようになる。
- バックプロパゲーションの改良あれこれ
  • モーメント法(慣性率法)
    • BP法では重み係数wji、skjの修正量(更新値)Δwji、Δskjはその時の出力層における誤差への寄与量だけから求めていたが、モーメント法では前回の修正量も考慮する方法である。
  • 特異点解消法
    • BP法では、教師信号(目的出力)と実際の出力が一致する場合の他に、中間層の出力および、出力層の出力値が0をとる場合、重みの修正が行われない。また、出力関数の導関数は最高でも0.25しかなく、学習(重み係数の修正)に時間がかかる。このような特異点を除き、誤差逆伝播量をある程度大きくして学習速度を上げるために式を修正する方法。
- 利用上のコツなど
  • 実際の教師信号に若干のノイズを加えたデータを学習させることで,ネットワークの一般化能力が向上する.
  • データセット数に対して中間層の数が多いときに繰り返し学習を進行させると過学習を生じる.
  • 中間層のユニット数の決定
    • 入力層数をnとした時,2n+1で有効であるとするもの
    • 2n/3で十分であるとするもの
    • 赤池の情報量規準(AIC:akaike's information criterion)を用いるもの
    • NIC・・訓練データ上で任意の入力信号に対するモデルからの出力と教師信号(正解)との”ずれ”に中間層のユニット数を加えたもので評価する方法
    • しかし,理論的な方法が存在するわけではなく,各モデルごとに試行錯誤的に決定するのが現状
  • 大域的最小値に収束させるためのコツ
    • Simulated annealing(焼きなまし法)を併用する方法
      • 重み&閾値の修正式にξを加える
      • ξ:平均0で,分散T(s)の正規乱数項
- 関連項目
  • 最急勾配法
  • 焼きなまし法・シミュレーテッド・アニーリング
  • 重回帰分析
- インターネット情報源 - 関連書籍

[前画面に戻る]

▲ページトップへ

Copyright(C)1998 Shinichi Takeshita.All Rights Reserved.