MARC

 008250123s2024        us                              c    eng  d
■001000017163821
■00520250211152757
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798384466994
■035    ▼a(MiAaPQ)AAI31555969
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aLyu,  Kaifeng.
■24510▼aImplicit  Bias  of  Deep  Learning  Optimization:  A  Mathematical  Examination
■260    ▼a[Sl]▼bPrinceton  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a392  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-04,  Section:  B.
■500    ▼aAdvisor:  Arora,  Sanjeev.
■5021  ▼aThesis  (Ph.D.)--Princeton  University,  2024.
■520    ▼aDeep  learning  has  achieved  remarkable  success  in  recent  years,  yet  training  neural  networks  often  involves  a  delicate  combination  of  guesswork  and  hyperparameter  tuning.  A  critical  aspect  of  this  process  is  the  "implicit  bias"  of  optimization  methods,  where  minor  changes  in  the  optimization  setup-without  affecting  the  small  training  loss  at  convergence-can  drastically  shift  the  solution  to  which  the  model  converges,  thereby  affecting  test  performance.  This  dissertation  presents  a  collection  of  results  that  mathematically  characterize  this  implicit  bias  in  various  training  regimes.The  first  part  of  this  dissertation  explores  how  gradient  descent,  even  without  explicit  regularization,  can  converge  to  solutions  that  maximize  the  margin.  Previous  results  have  established  the  first-order  optimality  of  margin  for  homogeneous  neural  networks  in  general,  but  the  global  optimality  of  margin  is  not  guaranteed  due  to  their  non-convex  nature.  This  dissertation  provides  in-depth  theoretical  analyses  when  data  has  simple  structures:  for  linearly  separable  data,  we  present  both  positive  and  negative  results  on  whether  the  global  optimality  of  margin  can  be  attained.  Furthermore,  we  show  how  this  margin-based  view  can  be  used  to  explain  interesting  generalization  phenomena  in  training  neural  networks  with  or  without  explicit  regularization,  including  the  simplicity  bias  and  grokking  phenomena.The  second  part  of  the  dissertation  presents  two  results  that  capture  the  implicit  biases  induced  by  finite  learning  rate.  Many  existing  analyses,  including  the  margin-based  ones  in  the  first  part,  describe  implicit  biases  that  hold  even  when  the  learning  rate  is  infinitesimal.  However,  practical  implementations  use  finite  learning  rates,  which  have  been  empirically  observed  to  benefit  generalization.  We  analyze  how  full-batch  GD  with  finite  learning  rates,  combined  with  key  training  components  like  normalization  layers  and  weight  decay,  create  a  bias  towards  flatter  minima,  which  are  positively  correlated  with  better  generalization.  Additionally,  we  study  the  implicit  bias  in  stochastic  optimization  and  derive  rigorous  approximations  for  the  dynamics  of  adaptive  gradient  methods  like  Adam  and  RMSprop  via  Stochastic  Differential  Equations  (SDEs)  to  capture  the  effect  of  finite  learning  rates.  Based  on  this,  we  also  derive  the  square  root  scaling  rule  as  a  practical  guideline  for  adjusting  the  optimization  hyperparameters  of  adaptive  gradient  methods  when  changing  batch  size.
■590    ▼aSchool  code:  0181.
■650  4▼aComputer  science
■650  4▼aApplied  mathematics
■653    ▼aDeep  learning
■653    ▼aHyperparameter  tuning
■653    ▼aFinite  learning  rate
■690    ▼a0984
■690    ▼a0800
■690    ▼a0364
■71020▼aPrinceton  University▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g86-04B.
■790    ▼a0181
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17163821▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서