MARC

 008260126s2024        us                              c    eng  d
■001000017361073
■00520260202105701
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798263307868
■035    ▼a(MiAaPQ)AAI32409879
■035    ▼a(MiAaPQ)124419
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aWinnicki,  Anna.
■24510▼aThe  Role  of  Lookahead  in  Reinforcement  Learning  Algorithms
■260    ▼a[Sl]▼bUniversity  of  Illinois  at  Urbana-Champaign▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a106  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Srikant,  R.
■5021  ▼aThesis  (Ph.D.)--University  of  Illinois  at  Urbana-Champaign,  2024.
■520    ▼aState  of  the  art  reinforcement  learning  (RL)  algorithms  such  as  AlphaZero  use  lookahead,  which  is  typically  implemented  using  Monte  Carlo  Tree  Search  (MCTS).  As  the  name  suggests,  lookahead  simply  means  looking  ahead  several  steps  when  computing  the  policy  to  be  used.  The  fact  that  an  H-step  lookahead  provides  an  O(αH),  where  α  is  the  discount  factor,  approximate  solution  to  the  optimal  policy  is  a  somewhat  trivial  and  well-known  statement.  What  we  have  shown  is  a  much  stronger  result:  we  have  shown  that  lookahead  leads  to  convergent  learning  algorithms  while  the  same  algorithms  may  diverge  in  the  absence  of  lookahead.  We  have  demonstrated  these  results  for  three  different  classes  of  RL  algorithms:  modified  policy  iteration  with  linear  value  function  approximation,  Monte  Carlo  with  exploring  starts,  and  policy  iteration  for  zero-sum  Markov  games.  We  have  also  shown  that  lookahead  can  be  efficiently  implemented  in  the  widely  studied  class  of  linear  MDPs.
■590    ▼aSchool  code:  0090.
■650  4▼aComputer  science
■650  4▼aElectrical  engineering
■650  4▼aComputer  engineering
■653    ▼aReinforcement  learning
■653    ▼aMarkov  decision  processes
■690    ▼a0544
■690    ▼a0984
■690    ▼a0464
■71020▼aUniversity  of  Illinois  at  Urbana-Champaign▼bElectrical  &  Computer  Eng.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0090
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17361073▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books