MARC

 008250123s2024        us                              c    eng  d
■001000017164270
■00520250211152941
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798384482024
■035    ▼a(MiAaPQ)AAI31565209
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aQin,  Chao.
■24510▼aEssays  on  Adaptive  Experimentation:  Bringing  Real-World  Challenges  to  Multi-Armed  Bandits
■260    ▼a[Sl]▼bColumbia  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a220  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-04,  Section:  A.
■500    ▼aAdvisor:  Russo,  Daniel.
■5021  ▼aThesis  (Ph.D.)--Columbia  University,  2024.
■520    ▼aClassical  randomized  controlled  trials  have  long  been  the  gold  standard  for  estimating  treatment  effects.  However,  adaptive  experimentation,  especially  through  multi-armed  bandit  algorithms,  aims  to  improve  efficiency  beyond  traditional  randomized  controlled  trials.  While  there  is  a  vast  literature  on  multi-armed  bandits,  a  simple  yet  powerful  framework  in  reinforcement  learning,  real-world  challenges  can  hinder  the  successful  implementation  of  adaptive  algorithms.  This  thesis  seeks  to  bridge  this  gap  by  integrating  real-world  challenges  into  multi-armed  bandits.The  first  chapter  examines  two  competing  priorities  that  practitioners  often  encounter  in  adaptive  experiments:  maximizing  total  welfare  through  effective  treatment  assignments  and  swiftly  conducting  experiments  to  implement  population-wide  treatments.  We  propose  a  unified  model  that  simultaneously  accounts  for  within-experiment  performance  and  post-experiment  outcomes.  We  provide  a  sharp  theory  of  optimal  performance  that  not  only  unifies  canonical  results  from  the  literature  on  regret  minimization  and  best-arm  identification  but  also  uncovers  novel  insights.  Our  theory  reveals  that  familiar  algorithms,  such  as  the  recently  proposed  top-two  Thompson  sampling  algorithm,  can  optimize  a  broad  class  of  objectives  if  a  single  scalar  parameter  is  appropriately  adjusted.  Furthermore,  we  demonstrate  that  substantial  reductions  in  experiment  duration  can  often  be  achieved  with  minimal  impact  on  total  regret.The  second  chapter  studies  the  fundamental  tension  between  the  distinct  priorities  of  non-adaptive  and  adaptive  experiments:  robustness  to  exogenous  variation  and  efficient  information  gathering.  We  introduce  a  novel  multi-armed  bandit  model  that  incorporates  nonstationary  exogenous  factors,  and  propose  deconfounded  Thompson  sampling,  a  more  robust  variant  of  the  prominent  Thompson  sampling  algorithm.  We  provide  bounds  on  both  within-experiment  and  post-experiment  regret  of  deconfounded  Thompson  sampling,  illustrating  its  resilience  to  exogenous  variation  and  the  delicate  balance  it  strikes  between  exploration  and  exploitation.  Our  proofs  leverage  inverse  propensity  weights  to  analyze  the  evolution  of  the  posterior  distribution,  a  departure  from  established  methods  in  the  literature.  Hinting  that  new  understanding  is  indeed  necessary,  we  demonstrate  that  a  deconfounded  variant  of  the  popular  upper  confidence  bound  algorithm  can  fail  completely.
■590    ▼aSchool  code:  0054.
■650  4▼aComputer  science
■650  4▼aStatistics
■650  4▼aInformation  science
■653    ▼aAdaptive  experiments
■653    ▼aReal-world  challenges
■653    ▼aMulti-armed  bandit
■653    ▼aDeconfounded  Thompson  sampling
■690    ▼a0796
■690    ▼a0984
■690    ▼a0463
■690    ▼a0723
■71020▼aColumbia  University▼bBusiness.
■7730  ▼tDissertations  Abstracts  International▼g86-04A.
■790    ▼a0054
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17164270▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서