008240612s2023      us  |||||||||||||||c||eng  d
■001000016933394
■00520240214101241
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798379721909
■035    ▼a(MiAaPQ)AAI30528482
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aZhou,  Dongruo.
■24510▼aEfficient  Reinforcement  Learning  Through  Uncertainties▼h[electronic  resource]
■260    ▼a[S.l.]:▼bUniversity  of  California,  Los  Angeles.  ▼c2023
■260  1▼aAnn  Arbor  :▼bProQuest  Dissertations  &  Theses,  ▼c2023
■300    ▼a1  online  resource(167  p.)
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  84-12,  Section:  B.
■500    ▼aAdvisor:  Gu,  Quanquan.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Los  Angeles,  2023.
■506    ▼aThis  item  must  not  be  sold  to  any  third  party  vendors.
■520    ▼aThis  dissertation  is  centered  around  the  concept  of  uncertainty-aware  reinforcement  learning  (RL),  which  seeks  to  enhance  the  efficiency  of  RL  by  incorporating  uncertainty.  RL  is  a  vital  mathematical  framework  in  the  field  of  artificial  intelligence  (AI)  for  creating  autonomous  agents  that  can  learn  optimal  behaviors  through  interaction  with  their  environments.  However,  RL  is  often  criticized  for  being  sample  inefficient  and  computationally  demanding.  To  tackle  these  challenges,  the  primary  goals  of  this  dissertation  are  twofold:  to  offer  theoretical  understanding  of  uncertainty-aware  RL  and  to  develop  practical  algorithms  that  utilize  uncertainty  to  enhance  the  efficiency  of  RL.Our  first  objective  is  to  develop  an  RL  approach  that  is  efficient  in  terms  of  sample  usage  for  Markov  Decision  Processes  (MDPs)  with  large  state  and  action  spaces.  We  present  an  uncertainty-aware  RL  algorithm  that  incorporates  function  approximation.  We  provide  theoretical  proof  that  this  algorithm  achieves  near  minimax  optimal  statistical  complexity  when  learning  the  optimal  policy.  In  our  second  objective,  we  address  two  specific  scenarios:  the  batch  learning  setting  and  the  rare  policy  switch  setting.  For  both  settings,  we  propose  uncertainty-aware  RL  algorithms  with  limited  adaptivity.  These  algorithms  significantly  reduce  the  number  of  policy  switches  compared  to  previous  baseline  algorithms  while  maintaining  a  similar  level  of  statistical  complexity.  Lastly,  we  focus  on  estimating  uncertainties  in  neural  network-based  estimation  models.  We  introduce  a  gradient-based  method  that  effectively  computes  these  uncertainties.  Our  approach  is  computationally  efficient,  and  the  resulting  uncertainty  estimates  are  both  valid  and  reliable.The  methods  and  techniques  presented  in  this  dissertation  contribute  to  the  advancement  of  our  understanding  regarding  the  fundamental  limits  of  RL.  These  research  findings  pave  the  way  for  further  exploration  and  development  in  the  field  of  decision-making  algorithm  design.
■590    ▼aSchool  code:  0031.
■650  4▼aComputer  science.
■653    ▼aMachine  learning
■653    ▼aReinforcement  learning
■653    ▼aMarkov  Decision  Processes
■653    ▼aOptimal  policy
■690    ▼a0984
■690    ▼a0800
■71020▼aUniversity  of  California,  Los  Angeles▼bComputer  Science  0201.
■7730  ▼tDissertations  Abstracts  International▼g84-12B.
■773    ▼tDissertation  Abstract  International
■790    ▼a0031
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T16933394▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.
■980    ▼a202402▼f2024