MARC

 008250123s2024        us                              c    eng  d
■001000017160537
■00520250211151036
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798383482179
■035    ▼a(MiAaPQ)AAI30997623
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a310
■1001  ▼aWang,  Tianhao.
■24510▼aAlgorithm  Dynamics  in  Modern  Statistical  Learning:  Asymptotics,  Universality,  and  Implicit  Regularization
■260    ▼a[Sl]▼bYale  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a349  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-01,  Section:  B.
■500    ▼aAdvisor:  Fan,  Zhou.
■5021  ▼aThesis  (Ph.D.)--Yale  University,  2024.
■520    ▼aUnderstanding  the  dynamics  of  algorithms  is  crucial  for  characterizing  the  behavior  of  trained  models  in  modern  statistical  learning.  This  thesis  presents  a  few  recent  results  on  theoretical  analyses  of  the  dynamics  of  two  classes  of  algorithms:  Approximate  Message  Passing  (AMP)  algorithms  and  Stochastic  Gradient  Descent  (SGD).  For  AMP  algorithms,  the  focus  is  to  derive  the  precise  asymptotic  distributional  characterization  of  the  iterates,  known  as  the  ``state  evolution''  which  summarizes  the  dynamics  of  AMP  iterates,  and  to  understand  the  universality  of  such  characterization  with  respect  to  the  underlying  data  distribution.  For  SGD,  the  goal  is  to  perform  trajectory  analysis  to  understand  its  implicit  regularization,  a  key  property  believed  to  be  essential  for  the  generalization  of  modern  deep  learning  models.  The  results  presented  here  provide  unified  frameworks  for  analyzing  and  understanding  the  dynamics  of  these  algorithms,  and  can  be  potentially  extended  to  other  algorithms.
■590    ▼aSchool  code:  0265.
■650  4▼aStatistics
■653    ▼aApproximate  message  passing
■653    ▼aImplicit  regularization
■653    ▼aStochastic  gradient  descent
■653    ▼aUniversality
■690    ▼a0463
■71020▼aYale  University▼bStatistics  and  Data  Science.
■7730  ▼tDissertations  Abstracts  International▼g86-01B.
■790    ▼a0265
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17160537▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books