MARC

 008260126s2025        us                              c    eng  d
■001000017358736
■00520260202104744
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798290650869
■035    ▼a(MiAaPQ)AAI32149739
■035    ▼a(MiAaPQ)Stanfordwm808gq7886
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a574
■1001  ▼aMarsden,  Milo  Steven,  Jr.
■24510▼aRandomized  Integrators  and  Adaptive  Step-Size  Selection  for  Hamiltonian  Monte  Carlo
■260    ▼a[Sl]▼bStanford  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a167  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-03,  Section:  B.
■500    ▼aAdvisor:  Diaconis,  Persi;Ying,  Lexing.
■5021  ▼aThesis  (Ph.D.)--Stanford  University,  2025.
■520    ▼aThis  thesis  concerns  the  algorithmic  task  of  sampling  from  a  distribution  of  known  (unnormalized)  density  µ(dx)  ∝  e  −U(x)dx  on  Rd  through  Markov  Chain  Monte  Carlo  (MCMC),  a  cornerstone  method  in  Bayesian  statistics  [45],  machine  learning  [3],  and  computational  statistical  mechanics  [60,  62].  In  particular,  we  consider  Hamiltonian  Monte  Carlo  (HMC)  [72]  and  its  related  variants.  Recall  that  HMC  requires  the  integration  of  Hamilton's  Equations  of  Motion.This  thesis  concerns  the  interplay  between  the  numerical  techniques  used  to  integrate  (1)  -  (2),  the  probabilistic  properties  of  the  resulting  transition  kernel,  and  the  computational  cost  required  to  produce  an  accurate  approximation  of  the  target  distribution  µ.  Much  of  this  work  is  contained  in  [19,  15,  13].The  first  two  chapters  of  this  thesis  provide  essential  background  material  on  Hamiltonian  dynamics  and  numerical  integration.  We  also  present  the  Gibbs  Self-Tuning(GIST)  framework  of  [15],  which  allows  us  to  consider  variants  of  HMC  that  select  additional  "tuning  parameters"  in  each  step  while  maintaining  µ-reversibility.Chapters  3  and  4  present  new  theoretical  upper  bounds  on  the  computational  complexity  of  sampling  via  HMC  when  randomized  discretizations  of  (1)  -  (2)  are  used  and  the  function  U  is  assumed  both  L-gradient  Lipschitz  and  K-strongly  convex.  We  carefully  consider  the  cost  of  sampling  as  a  function  of  the  dimension  d,  condition  number  κ  =  L  K,  and  accuracy  ε.In  Chapter  3,  we  study  unadjusted  HMC  using  a  randomized  integrator  we  call  "stratified  Monte  Carlo"  (sMC).  This  material  is  adapted  from  joint  work  with  Nawaf  Bou-Rabee  [18].  Under  the  above  Lipschitzness  and  convexity  assumptions  we  show  by  coupling  arguments  that  a  suitably  tuned  version  of  unadjusted  HMC  with  sMC  integration  produces  an  ε-accurate  approximation  of  µ  in  Wasserstein  distance  using  O((d/K)  1/3κ  5/3ε  −2/3)  gradient  evaluations.  This  result  improves  upon  the  corresponding  result  for  unadjusted  HMC  with  Verlet  integration,  which  requires  additional  smoothness  assumptions  and  gives  a  complexity  that  scales  with  dimension  as  Ω(d1/2).Chapter  4  considers  HMC  with  a  different  randomized  integrator,  which  we  call  the  Randomized  Splitting  Integrator.  Unlike  the  sMC  integrator  in  Chapter  3,  the  Randomized  Splitting  Integrator  of  Chapter  4  allows  one  to  efficiently  incorporate  a  Metropolis-Hastings  adjustment  to  ensure  the  transition  kernel  is  µ-reversible.  We  call  the  resulting  algorithm  Randomized  Splitting  Integrator  HMC  (RSI-HMC).  Using  the  Conductance  Profile  technique  from  [28],  we  show  under  the  Lipschitness  and  convexity  assumptions  above  that  RSI-HMC  provided  with  a  β-warm  starting  distribution,  produces  an  ε-accurate  approximation  of  µ  in  Total  Variation  distance  using  O  (  max  κ  5/3d  11/12  log  (  log(β)/ε  )  ,  κ2/3d5/12log(β)  ))  gradient  evaluations.  This  matches  the  upper  bound  for  HMC  with  Verlet  integration  obtained  in  [28]  under  the  additional  assumptions  that  U  is  LH-Hessian  Lipschitz  and  κ  =  O(d2/3).Lastly,  Chapter  5  presents  a  novel  variant  of  the  No-U-Turn  Sampler  which  incorporates  local  adaptation  of  the  step-size  h  in  each  iteration.  This  material  also  appears  in  [13].  Using  the  GIST  framework,  we  prove  the  proposed  transition  kernel  is  µ-reversible.  We  also  provide  numerical  evidence  for  the  efficacy  of  the  resulting  sampler  on  challenging  distributions.
■590    ▼aSchool  code:  0212.
■650  4▼aAdaptation
■650  4▼aFamilies  &  family  life
■650  4▼aMarkov  analysis
■650  4▼aStatistics
■653    ▼aBayesian  statistics
■690    ▼a0463
■690    ▼a0800
■71020▼aStanford  University.
■7730  ▼tDissertations  Abstracts  International▼g87-03B.
■790    ▼a0212
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17358736▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서