HUSCAP logo Hokkaido Univ. logo

Hokkaido University Collection of Scholarly and Academic Papers >
Theses >
博士 (情報科学) >

ニューラルネットワークの効果的な訓練のための探索と収束の制御

Files in This Item:
Tomoumi_Takase.pdf3.19 MBPDFView/Open
Please use this identifier to cite or link to this item:https://doi.org/10.14943/doctoral.k13298
Related Items in HUSCAP:

Title: ニューラルネットワークの効果的な訓練のための探索と収束の制御
Other Titles: Controlling Exploration and Convergence for Effective Training of Neural Networks
Authors: 高瀬, 朝海 Browse this author
Issue Date: 25-Sep-2018
Publisher: Hokkaido University
Abstract: 近年,人工知能の分野における様々な問題に対する機械学習手法として,ニューラルネットワークが広く利用されている.ニューラルネットワークの学習では,学習の序盤において損失関数上の誤差の大きい局所解に捕捉されないように重みと呼ばれるパラメータを反復的に更新する必要がある.重みの更新手法として,勾配降下法やその発展形であるAdaGradやAdamが一般的に用いられているが,それらの方法では局所解からの脱出が十分に行われないなどの問題点がある.本論文ではこの問題を解決することを目的として,誤差の大きい局所解への収束を避け,誤差の小さい解に収束するための効果的な学習戦略として,学習の前半は広い範囲を探索し,後半は安定した収束を行うという戦略を考えた.この戦略をニューラルネットワーク学習に適用するために,本論文では学習率とバッチサイズという2つのハイパーパラメータに着目し,それらが解の探索に与える効果を議論し,この戦略に基づき,ニューラルネットワーク学習のための2つの手法として適応的学習率調整法(ALR法)およびバッチサイズ増加法を提案した.ALR法は,学習中の訓練誤差ができるだけ小さくなるようにエポックごとに動的に学習率を制御する手法であり,バッチサイズ増加法は学習中のバッチサイズを単調に増加させる手法である.この分野のベンチマークとして知られるMNISTおよびUCI機械学習リポジトリ(Car Evaluation, Wine, Letter Recognition)データセットを用いた実験により,提案手法の有効性を実証した.
Conffering University: 北海道大学
Degree Report Number: 甲第13298号
Degree Level: 博士
Degree Discipline: 情報科学
Examination Committee Members: (主査) 教授 栗原 正仁, 教授 山本 雅人, 教授 川村 秀憲, 教授 小野 哲雄, 准教授 小山 聡
Degree Affiliation: 情報科学研究科(情報理工学専攻)
Type: theses (doctoral)
URI: http://hdl.handle.net/2115/71811
Appears in Collections:課程博士 (Doctorate by way of Advanced Course) > 情報科学院(Graduate School of Information Science and Technology)
学位論文 (Theses) > 博士 (情報科学)

Export metadata:

OAI-PMH ( junii2 , jpcoar_1.0 )

MathJax is now OFF:


 

 - Hokkaido University