MARC

 008250123s2024        us                              c    eng  d
■001000017160359
■00520250211151004
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798382781877
■035    ▼a(MiAaPQ)AAI30994432
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a310
■1001  ▼aQiu,  Jiaze.▼0(orcid)0000-0003-3895-1859
■24510▼aVariational  Inference  in  High-dimensional  Bayesian  Regression  Models
■260    ▼a[Sl]▼bHarvard  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a184  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  85-12,  Section:  B.
■500    ▼aAdvisor:  Sen,  Subhabrata.
■5021  ▼aThesis  (Ph.D.)--Harvard  University,  2024.
■520    ▼aIn  modern  applications  of  Bayesian  Statistics,  the  posterior  distribution  is  typically  high-dimensional  and  analytically  intractable.  Variational  Inference  (VI)  has  emerged  as  an  attractive  option  to  approximate  these  intractable  distributions,  facilitating  fast,  parallel  computations.  The  simplest  version  of  VI  is  the  Naive  Mean-field  approximation  (NMF),  where  the  distribution  of  interest  is  approximated  by  a  product  distribution.  In  recent  years,  another  strategy  rooted  in  statistical  physics,  the  Thouless-Anderson-Palmer  (TAP)  formulation,  started  to  garner  increasing  attention  from  theorists  and  practitioners  alike.  However,  despite  the  rapidly  growing  popularity  of  variational  approximations  in  Statistics  and  Machine  Learning,  the  corresponding  theoretical  guarantees  for  these  approximations  remain  largely  unexplored.  This  dissertation  addresses  this  challenge  through  three  main  contributions:  TAP  Approximation  in  Bayesian  Linear  Regression:  In  Chapter  1,  a  variational  representation  for  the  log-normalizing  constant  of  the  posterior  distribution  in  Bayesian  linear  regression  is  derived  in  the  proportional  asymptotic  regime,  assuming  a  uniform  spherical  prior  and  i.i.d.  Gaussian  designs.  Performance  of  NMF  in  Linear  Regression:  Chapter  2  investigates  the  NMF  approximation  in  linear  regression  under  proportional  asymptotics.  It  confirms  the  inaccuracy  of  NMF  for  approximating  the  log-normalizing  constant  and  supports  empirical  observations  of  NMF  being  overconfident.  NMF  in  Generalized  Linear  Models  (GLMs):  Chapter  3  identifies  conditions  under  which  the  NMF  approximation  is  valid  in  high-dimensional  GLMs.  Algorithmic  insights  and  probabilistic  properties  of  the  high-dimensional  posteriors  were  also  investigated.
■590    ▼aSchool  code:  0084.
■650  4▼aStatistics
■650  4▼aApplied  mathematics
■650  4▼aStatistical  physics
■653    ▼aVariational  inference
■653    ▼aThouless-Anderson-Palmer
■653    ▼aLinear  regression
■653    ▼aBayesian  models
■653    ▼aGaussian  designs
■690    ▼a0463
■690    ▼a0364
■690    ▼a0217
■71020▼aHarvard  University▼bStatistics.
■7730  ▼tDissertations  Abstracts  International▼g85-12B.
■790    ▼a0084
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17160359▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books