MARC

 008260126s2024        us                              c    eng  d
■001000017361083
■00520260202105703
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798263308032
■035    ▼a(MiAaPQ)AAI32409894
■035    ▼a(MiAaPQ)124230
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aLiu,  Liyuan.
■24510▼aUnderstanding  the  Mechanism  of  Pretraining  Stabilization  Heuristics:  A  Variance-Oriented  Perspective
■260    ▼a[Sl]▼bUniversity  of  Illinois  at  Urbana-Champaign▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a112  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Han,  Jiawei.
■5021  ▼aThesis  (Ph.D.)--University  of  Illinois  at  Urbana-Champaign,  2024.
■520    ▼aLanguage  model  pretraining  has  been  breaking  the  glass  ceiling  for  various  natural  language  processing  tasks  and  has  been  viewed  as  one  of  the  most  significant  successes  of  deep  learning,  continuously  challenging  our  understanding  of  learning  and  cognition.  Recently  models,  including  GPT-4  and  BART,  fueled  by  an  unprecedented  scale  of  computing  and  data,  exhibit  unprecedented  intelligence,  that  some  even  refer  to  as  "sparks  of  artificial  general  intelligence".                          The  success  of  large-scale  pretraining  hinges  on  intricate  engineering  heuristics.  While  the  empirical  benefits  of  these  heuristics  are  evident,  their  underlying  mechanisms  remain  elusive.  This  dissertation  endeavors  to  demystify  the  mathematical  principles  underlying  these  pretraining  heuristics,  aiming  to  illuminate  their  mechanisms  and  potentially  guide  future  algorithm  developments.  Adopting  a  variance-oriented  perspective,  my  research  rigorously  inspects  the  heuristics  that  are  pivotal  to  the  stability  of  current  pretraining  practices,  emphasizing  learning  rate  warmup,  model  initialization,  and  gradient  approximation.                        In  this  dissertation,  I  show  that  these  pretraining  stabilization  heuristics  can  be  coherently  elucidated  with  a  unified  framework  anchored  in  variance,  a  classical  metric  for  stability.  First,  I  analyze  the  variance  of  adaptive  learning  rate  and  model  outputs,  revealing  that  both  learning  rate  warmup  and  model  initialization  function  as  variance  modulators.  Then,  I  move  to  explore  the  variance-bias  tradeoff  in  the  discrete  variable  gradient  approximation,  i.e.,  employing  a  numerical  ODE  framework,  I  unveil  the  underlying  dynamics  of  the  approximation  bias,  achieving  second  order  precision  with  minimal  computational  overhead.  Besides  theoretical  results,  empirical  verifications  are  conducted  to  verify  the  assumptions  and  applicability  of  the  recognized  principles.                          Building  upon  these  insights,  this  dissertation  introduces  novel  techniques  designed  to  advance  the  pretraining  practices,  including  RAdam  for  learning  rate  warmup,  Admin  for  Transformer  model  initialization,  ReinMax  and  SparseMixer  for  gradient  approximation.  Under  the  guidance  of  the  recognized  principles,  all  proposed  methods  require  minimal  trial-and-error  configurations,  thereby  emerging  as  robust  and  high-perform  tools  for  pretraining  practices  for  adaptations.
■590    ▼aSchool  code:  0090.
■650  4▼aComputer  science
■650  4▼aApplied  mathematics
■653    ▼aTraining  stability
■653    ▼aVariance
■653    ▼aModel  initialization
■690    ▼a0984
■690    ▼a0364
■71020▼aUniversity  of  Illinois  at  Urbana-Champaign▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0090
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17361083▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서