MARC

 008250123s2024        us                              c    eng  d
■001000017163056
■00520250211152130
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798383530573
■035    ▼a(MiAaPQ)AAI31483147
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a310
■1001  ▼aSuk,  Joseph.
■24510▼aAdvances  in  Non-stationary  Sequential  Decision-Making
■260    ▼a[Sl]▼bColumbia  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a359  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-01,  Section:  B.
■500    ▼aAdvisor:  Kpotufe,  Samory.
■5021  ▼aThesis  (Ph.D.)--Columbia  University,  2024.
■520    ▼aWe  study  the  problem  of  sequential  decision-making  (e.g.  multi-armed  bandits,  contextual  bandits,  reinforcement  learning)  under  changing  environments,  or  distribution  shifts.  Ideally,  one  aims  to  automatically  adapt/self-tune  to  unknown  changes  in  distribution,  and  restart  exploration  as  needed.  While  recent  theoretical  breakthroughs  show  this  is  possible  in  a  broad  sense,  such  works  contend  that  the  learner  should  restart  procedures  upon  experiencing  any  change  leading  to  worst-case  (regret)  rates.  This  leaves  open  whether  faster  rates  are  possible,  adaptively,  if  few  changes  in  distribution  are  actually  severe,  e.g.,  involve  no  change  in  best  action.This  thesis  initiates  a  broad  research  program  giving  positive  answers  to  these  open  questions  across  several  instances.  In  particular,  we  begin  at  non-stationary  bandits  and  show  a  much  weaker  notion  of  change  can  be  adapted  to,  which  can  yield  significantly  faster  rates  than  previously  known,  whether  as  expressed  in  terms  of  number  of  best  action  switches-for  which  no  adaptive  procedure  was  known,  or  in  terms  of  previously  studied  variation  or  smoothness  measures.  We  then  generalize  these  results  to  non-parametric  contextual  bandits  and  dueling  bandits.  As  a  result,  we  substantially  improve  the  theoretical  state-of-the-art  performance  guarantees  for  these  problems  and,  in  many  cases,  tightly  characterize  the  statistical  limits  of  sequential  decision-making  under  changing  environments.
■590    ▼aSchool  code:  0054.
■650  4▼aStatistics
■650  4▼aComputer  science
■653    ▼aMinimax
■653    ▼aMulti-armed  bandits
■653    ▼aNon-parametric  statistics
■653    ▼aStatistical  learning  theory
■653    ▼aReinforcement  learning
■690    ▼a0463
■690    ▼a0984
■690    ▼a0800
■71020▼aColumbia  University▼bStatistics.
■7730  ▼tDissertations  Abstracts  International▼g86-01B.
■790    ▼a0054
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17163056▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books