MARC

 008260126s2025        us                              c    eng  d
■001000017358479
■00520260202104708
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798286498451
■035    ▼a(MiAaPQ)AAI32117746
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a658
■1001  ▼aChe,  Ethan.
■24510▼aReinforcement  Learning  via  Differentiable  Simulation:  Applications  in  Operations  Management
■260    ▼a[Sl]▼bColumbia  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a348  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-01,  Section:  B.
■500    ▼aAdvisor:  Dong,  Jing;Namkoong,  Hongseok.
■5021  ▼aThesis  (Ph.D.)--Columbia  University,  2025.
■520    ▼aReinforcement  learning  (RL)  is  a  promising  approach  for  solving  dynamic  decision-making  problems  that  arise  in  operations  management  applications,  including  scheduling,  routing,  supply  chain  management,  and  adaptive  experimentation.  However,  so  far  RL  algorithms  have  not  experienced  widespread  industrial  adoption  due  to  high  sample  complexity  and  difficulty  in  scaling  to  large-scale  problems.  To  address  these  issues,  this  dissertation  proposes  a  model-based  approach  to  RL  via  differentiable  simulation.  Differentiable  simulation  is  a  technique  for  computing  gradients  of  a  system's  dynamics  with  respect  to  any  parameters  or  inputs,  which  has  been  widely  used  in  physics  and  robotics,  with  roots  in  the  stochastic  simulation  literature  dating  back  to  the  1980s-1990s  with  methodologies  such  as  infinitesimal  perturbation  analysis  (IPA)  and  generalized  likelihood  ratio  estimation.  We  take  inspiration  from  these  ideas,  which  have  typically  been  applied  to  systems  with  a  handful  of  parameters  (e.g.  service  rates  or  base-stock  levels),  and  develop  frameworks  for  applying  them  to  reinforcement  learning  problems  in  different  operations  applications.The  first  study  develops  a  differentiable  optimization  framework  for  batched  adaptive  experimentation.  Sampling  with  large  batches  is  a  ubiquitious  practice  in  online  experimentation  platforms,  due  to  operational  constraints  as  well  as  concerns  over  delayed  feedback.  Using  large  batch  statistical  approximations,  we  develop  a  differentiable  formulation  of  Bayesian  regret  for  adaptive  experimentation  which  can  be  directly  optimized,  in  contrast  with  existing  heuristics  that  optimize  proxies  of  regret.  By  using  a  Bayesain  model  of  how  additional  data  affects  future  posterior  beliefs,  this  explicitly  captures  the  trade-off  between  exploration  and  exploitation.  Using  differentiability  of  Bayesian  regret,  we  propose  a  model-predictive  control  algorithm  for  adaptive  experimentation  in  batched  settings  with  short  time  horizons.  The  algorithm  selects  the  sampling  allocations-the  number  of  samples  assigned  to  each  treatment  arm-to  directly  minimize  Bayesian  regret  and  re-optimizes  this  after  each  batch.  We  find  through  extensive  numerical  experiments  that  our  algorithm  outperforms  existing  heuristics  (e.g.  Thompson  Sampling)  especially  under  short  time  horizons.  We  also  make  theoretical  connections  between  model-predictive  control  and  posterior  sampling. The  second  study  follows  up  on  the  first  study  and  provides  a  generalization  of  our  framework  for  contextual  settings,  multiple-objectives,  constraints,  and  non-stationarity,  which  are  common  considerations  in  online  experimentation  platforms.  We  find  that  under  these  different  considerations,  the  design  of  effective  adaptive  algorithms  is  highly  non-trivial,  as  even  simple  strategies  like  uniform  allocation  can  outperform  adaptive  algorithms  like  Thompson  Sampling.  In  contrast,  our  framework  allows  the  experimenter  to  flexibly  include  these  considerations  in  the  optimization  problem,  rather  than  developing  bespoke  algorithms  for  different  situations  and  combinations  of  considerations.  Not  only  does  this  optimization-based  approach  come  with  new  theoretical  guarantees  in  wide  range  of  settings,  in  several  experiments  involving  non-stationarity,  constraints,  and  multiple-objectives,  our  algorithm  is  able  to  outperform  existing  heuristics  such  as  Thompson  Sampling.The  third  study  develops  a  model-based  reinforcement  learning  approach  for  queueing  network  control  through  differentiable  discrete-event  simulation.  Model-free  RL  methods  have  been  applied  to  queueing  networks,  but  they  are  sample  inefficient  and  suffer  from  slow  convergence.  Despite  non-differentiability  of  the  dynamics  of  queueing  networks,  we  formulate  a  differentiable  approximation  of  the  dynamics  and  use  this  to  obtain  pathwise  policy  gradients  that  are  orders  of  magnitude  less  noisy  than  standard  REINFORCE  gradients.  Using  these  pathwise  policy  gradients,  we  are  able  to  learn  scheduling  policies  that  outperform  or  match  the  policies  trained  with  model-free  RL  with  significantly  less  data.  Unlike  prior  tailored  approaches  to  queueing,  our  methods  can  flexibly  handle  realistic  scenarios,  including  systems  operating  in  non-stationary  environments  and  those  with  non-exponential  interarrival/service  times.The  fourth  chapter  is  a  theoretical  study  of  the  convergence  of  stochastic  gradient  descent  with  Markovian  feedback.  While  there  are  many  works  on  the  convergence  of  policy  gradient  with  REINFORCE-based  gradient  estimation,  in  this  chapter  we  provide  a  convergence  analysis  for  broader  gradient  estimators,  including  differentiable  simulation  or  finite-difference  based  estimators.  The  core  challenge  is  that  the  policy  changes  the  environment  and  thereby  affects  the  data  used  to  update  the  policy.  The  influence  of  previous  decisions  on  the  data  generated  introduces  bias  in  the  gradient  estimate,  which  presents  a  potential  source  of  instability  for  online  learning  not  present  in  the  iid  case.  In  this  paper,  we  introduce  simple  criteria  for  the  adaptively  generated  data  stream  to  guarantee  the  convergence  of  SGD,  which  depend  on  the  mixing  time  of  the  policy-induced  dynamics.  Our  Lyapunov-function  analysis  allows  one  to  translate  existing  stability  analysis  of  stochastic  systems  studied  in  operations  research  into  convergence  rates  for  SGD,  and  we  demonstrate  this  for  queueing  and  inventory  management  problems.  We  also  showcase  how  our  result  can  be  applied  to  study  the  sample  complexity  of  an  actor-critic  policy  gradient  algorithm.
■590    ▼aSchool  code:  0054.
■650  4▼aIndustrial  engineering
■650  4▼aStatistics
■653    ▼aAdaptive  experimentation
■653    ▼aMachine  learning
■653    ▼aQueuing  systems
■653    ▼aReinforcement  learning
■653    ▼aInfinitesimal  perturbation  analysis
■690    ▼a0796
■690    ▼a0546
■690    ▼a0800
■690    ▼a0463
■71020▼aColumbia  University▼bOperations  Research.
■7730  ▼tDissertations  Abstracts  International▼g87-01B.
■790    ▼a0054
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17358479▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서