MARC

 008260126s2024        us                              c    eng  d
■001000017360388
■00520260202105516
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798263341909
■035    ▼a(MiAaPQ)AAI32309352
■035    ▼a(MiAaPQ)GeorgiaTech75655
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a519.7
■1001  ▼aLiu,  Guan-Horng.
■24510▼aLarge-Scale  Optimization  for  Deep  Neural  Network  Architecture:  a  Dynamical  System  Theory  Perspective
■260    ▼a[Sl]▼bGeorgia  Institute  of  Technology▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a173  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Theodorou,  Evangelos  A.
■5021  ▼aThesis  (Ph.D.)--Georgia  Institute  of  Technology,  2024.
■520    ▼aOptimization  of  deep  neural  networks  (DNNs)  has  been  a  driving  force  in  the  advance-ment  of  modern  machine  learning  and  artificial  intelligence.  Despite  efforts  to  design  DNN  architectures  that  leverage  domain-specific  knowledge,  the  development  of  optimization  al-gorithms  for  training  these  million-parameter  functions  has  often  progressed  independently  of  architectural  innovations.  This  thesis  delves  into  large-scale  optimization  methods  that  are  not  only  aware  of  but  also  leverage  the  underlying  deep  architectural  structures  being  optimized.  Specifically,  we  demonstrate  that  the  dynamical  system  and  optimal  control  the-ory  pave  a  profound  foundation  for  algorithmic  characterization  in  this  unexplored  avenue.Optimal  control,  in  its  broadest  sense,  examines  the  principle  of  optimization  over  dy-namical  systems.  This  methodological  perspective  naturally  arises  in  training  neural  dif-ferential  equations  and  can  be  applied  to  standard  DNNs  by  interpreting  layer  propaga-tion  as  discrete  timesteps  along  a  dynamical  system,  with  Backpropagation  emerging  as  an  approximate  dynamic  programming  method.  Through  development,  we  emphasize  the  significance  of  control-theoretic  components  such  as  differential  programming,  nonlinear  Feynman-Kac,  and  path  integral  theory,  which  unify  existing  optimization  methods  while  extending  them  to  handle  a  broader  class  of  complex  dynamics  and  problem  setups  that  can  otherwise  be  hard  to  adapt  or  foresee.Our  work  demonstrates  the  broad  applicability  of  control-theoretic  optimization  meth-ods  in  learning  various  deep  architectures,  including  convolutional  networks,  neural  ordi-nary  differential  equations,  and  neural  stochastic  differential  equations  such  as  denoising  diffusion  models.  The  resulting  computational  frameworks  improve  test-time  performance  and  inference  efficiency,  enhance  training  robustness  against  unstable  hyperparameters,  ac-celerate  convergence  in  terms  of  wall-clock  time,  and  are  applicable  to  a  wide  range  of  scientific  problems,  including  image  generation,  restoration,  translation,  as  well  as  solving  mean-field  games  and  opinion  modeling.
■590    ▼aSchool  code:  0078.
■650  4▼aDynamic  programming
■650  4▼aBack  propagation
■650  4▼aDecision  making
■650  4▼aNeural  networks
■650  4▼aDiffusion  models
■650  4▼aDynamical  systems
■650  4▼aVisualization
■650  4▼aOrdinary  differential  equations
■650  4▼aGames
■650  4▼aSystem  theory
■650  4▼aComputer  science
■650  4▼aMathematics
■690    ▼a0800
■690    ▼a0984
■690    ▼a0405
■71020▼aGeorgia  Institute  of  Technology.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0078
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17360388▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books