008240612s2023      us  |||||||||||||||c||eng  d
■001000016934818
■00520240214101657
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798380877275
■035    ▼a(MiAaPQ)AAI30635147
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aKumar,  Aviral.
■24510▼aReinforcement  Learning  From  Static  Datasets:  Algorithms,  Analysis,  and  Applications▼h[electronic  resource]
■260    ▼a[S.l.]:▼bUniversity  of  California,  Berkeley.  ▼c2023
■260  1▼aAnn  Arbor  :▼bProQuest  Dissertations  &  Theses,  ▼c2023
■300    ▼a1  online  resource(385  p.)
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  85-06,  Section:  B.
■500    ▼aAdvisor:  Levine,  Sergey.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Berkeley,  2023.
■506    ▼aThis  item  must  not  be  sold  to  any  third  party  vendors.
■520    ▼aReinforcement  learning  (RL)  provides  a  formalism  for  learning-based  control.  By  attempting  to  learn  behavioral  policies  that  can  optimize  a  user-specified  reward  function,  RL  methods  have  been  able  to  acquire  novel  decision-making  strategies  that  can  outperform  the  best  humans  even  with  highly  complex  dynamics  and  even  when  the  space  of  all  possible  outcomes  is  huge  (e.g.,  robotic  manipulation,  chip  floorplanning).  Yet  RL  has  had  a  limited  applicability  compared  to  standard  machine  learning  (ML)  in  real-world  scenarios.  Why?  The  central  issue  with  RL  is  that  it  relies  crucially  on  running  large  amounts  of  trial-and-error  active  data  collection  for  learning  policies.  Unfortunately  though,  in  the  real  world,  active  data  collection  is  generally  very  expensive  (e.g.,  running  wet  lab  experiments  for  drug  design),  and/or  dangerous  (e.g.,  robots  operating  around  humans),  and  accurate  simulators  are  hard  to  build.  Overall,  this  means  that  while  RL  carries  the  potential  to  broadly  unlock  ML  in  real-world  decision-making  problems,  we  are  unable  to  realize  this  potential  via  current  RL  techniques.                      To  realize  this  potential  of  RL,  in  this  dissertation,  we  develop  an  alternate  paradigm  that  aims  to  utilizes  static  datasets  of  experience  for  learning  policies.  Such  a  ``dataset-driven''  paradigm  broadens  the  applicability  of  RL  to  a  variety  of  decision-making  problems  where  historical  datasets  already  exist  or  can  be  collected  via  domain-specific  strategies.  It  also  brings  the  scalability  and  reliability  benefits  that  modern  supervised  and  unsupervised  ML  methods  enjoy  into  RL.  That  said,  instantiating  this  paradigm  is  challenging  as  it  requires  reconciling  the  {static}  nature  of  learning  from  a  dataset  with  the  traditionally  active  nature  of  RL,  which  results  in  challenges  of  distributional  shift,  generalization,  and  optimization.  After  theoretically  and  empirically  understanding  these  challenges,  we  develop  algorithmic  ideas  for  addressing  thee  challenges  and  discuss  several  extensions  to  convert  these  ideas  into  practical  methods  that  can  train  modern  high-capacity  neural  network  function  approximators  on  large  and  diverse  datasets.  Finally,  we  show  how  the  techniques  can  enable  us  to  pre-train  generalist  policies  for  real  robots  and  video  games  and  enable  fast  and  efficient  hardware  accelerator  design.
■590    ▼aSchool  code:  0028.
■650  4▼aComputer  science.
■650  4▼aRobotics.
■653    ▼aControl
■653    ▼aDecision-making
■653    ▼aReinforcement  learning
■690    ▼a0800
■690    ▼a0984
■690    ▼a0771
■71020▼aUniversity  of  California,  Berkeley▼bElectrical  Engineering  &  Computer  Sciences.
■7730  ▼tDissertations  Abstracts  International▼g85-06B.
■773    ▼tDissertation  Abstract  International
■790    ▼a0028
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T16934818▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.
■980    ▼a202402▼f2024