MARC

 008260126s2025        us                              c    eng  d
■001000017360838
■00520260202105626
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798265428004
■035    ▼a(MiAaPQ)AAI32316558
■035    ▼a(MiAaPQ)Stanfordnx340sz2444
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a530.13
■1001  ▼aYamamura,  Atsushi.
■24510▼aStatistical  Physics  of  Gradient  Descent  in  High-Dimensions:  From  Coherent  Ising  Machines  to  Neural  Networks
■260    ▼a[Sl]▼bStanford  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a183  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Ganguli,  Surya;Mabuchi,  Hideo.
■5021  ▼aThesis  (Ph.D.)--Stanford  University,  2025.
■520    ▼aGradient  descent  and  its  variants  are  widely  employed  in  optimization  and  machine  learning  tasks.  A  fundamental  understanding  of  their  behavior  in  high-dimensional  loss  or  energy  landscapes  is  essential  for  improving  performance  and  efficiency.  In  the  first  part  of  this  dissertation,  we  analyze  the  optimization  dynamics  of  coherent  Ising  machines  (CIMs)-optical  recurrent  neural  networks  designed  to  solve  combinatorial  optimization  problems.  By  investigating  their  behavior  on  random  combinatorial  instances  through  statistical  physics  methods,  we  identify  distinct  phase  transitions  in  the  energy  landscape  of  CIMs,  from  flat  to  rough  to  rigid.  These  transitions  significantly  influence  gradient  descent  dynamics,  providing  valuable  insights  into  optimal  hyperparameter  tuning  for  enhanced  CIM  performance.In  the  second  part,  we  explore  the  dynamics  of  stochastic  gradient  descent  (SGD)  in  deep  neural  networks,  focusing  on  the  fundamental  question  of  why  these  networks  exhibit  remarkable  generalization  capabilities.  We  demonstrate  that  the  stochastic  noise  intrinsic  to  SGD  possesses  a  structured  form  determined  by  the  architectural  symmetries  of  neural  networks.  This  structured  noise  guides  SGD  dynamics  toward  specific  subsets  of  parameter  space  characterized  by  "simpler"  functions,  thereby  mitigating  overfitting  and  enhancing  the  model's  ability  to  generalize  to  unseen  data.
■590    ▼aSchool  code:  0212.
■650  4▼aBrownian  motion
■650  4▼aSemiconductors
■650  4▼aLasers
■650  4▼aNeural  networks
■650  4▼aSymmetry
■650  4▼aPhase  transitions
■650  4▼aStatistical  physics
■650  4▼aConnectivity
■650  4▼aEigenvalues
■650  4▼aEnergy
■650  4▼aTraveling  salesman  problem
■650  4▼aEigenvectors
■650  4▼aGeometry
■650  4▼aMathematics
■650  4▼aOptics
■690    ▼a0791
■690    ▼a0217
■690    ▼a0800
■690    ▼a0405
■690    ▼a0796
■690    ▼a0752
■71020▼aStanford  University.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0212
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17360838▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books