008240612s2023      us  |||||||||||||||c||eng  d
■001000016932454
■00520240214100500
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798380380911
■035    ▼a(MiAaPQ)AAI30492754
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a629.8
■1001  ▼aJanner,  Michael.
■24510▼aDeep  Generative  Models  for  Decision-Making  and  Control▼h[electronic  resource]
■260    ▼a[S.l.]:▼bUniversity  of  California,  Berkeley.  ▼c2023
■260  1▼aAnn  Arbor  :▼bProQuest  Dissertations  &  Theses,  ▼c2023
■300    ▼a1  online  resource(98  p.)
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  85-03,  Section:  B.
■500    ▼aAdvisor:  Levine,  Sergey.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Berkeley,  2023.
■506    ▼aThis  item  must  not  be  sold  to  any  third  party  vendors.
■520    ▼aDeep  model-based  reinforcement  learning  methods  offer  a  conceptually  simple  approach  to  the  decision-making  and  control  problem:  use  learning  for  the  purpose  of  estimating  an  approximate  dynamics  model,  and  offload  the  rest  of  the  work  to  classical  trajectory  optimization.  However,  this  combination  has  a  number  of  empirical  shortcomings,  limiting  the  usefulness  of  model-based  methods  in  practice.  The  dual  purpose  of  this  thesis  is  to  study  the  reasons  for  these  shortcomings  and  to  propose  solutions  for  the  uncovered  problems.  We  begin  by  generalizing  the  dynamics  model  itself,  replacing  the  standard  single-step  formulation  with  a  model  that  predicts  over  probabilistic  latent  horizons.  The  resulting  model,  trained  with  a  generative  reinterpretation  of  temporal  difference  learning,  leads  to  infinite-horizon  variants  of  the  procedures  central  to  model-based  control,  including  the  model  rollout  and  model-based  value  estimation.Next,  we  show  that  poor  predictive  accuracy  of  commonly-used  deep  dynamics  models  is  a  major  bottleneck  to  effective  planning,  and  describe  how  to  use  high-capacity  sequence  models  to  overcome  this  limitation.  Framing  reinforcement  learning  as  sequence  modeling  simplifies  a  range  of  design  decisions,  allowing  us  to  dispense  with  many  of  the  components  normally  integral  to  reinforcement  learning  algorithms.  However,  despite  their  predictive  accuracy,  such  sequence  models  are  limited  by  the  search  algorithms  in  which  they  are  embedded.  As  such,  we  demonstrate  how  to  fold  the  entire  trajectory  optimization  pipeline  into  the  generative  model  itself,  such  that  sampling  from  the  model  and  planning  with  it  become  nearly  identical.  The  culmination  of  this  endeavor  is  a  method  that  improves  its  planning  capabilities,  and  not  just  its  predictive  accuracy,  with  more  data  and  experience.  Along  the  way,  we  highlight  how  inference  techniques  from  the  contemporary  generative  modeling  toolbox,  including  beam  search,  classifier-guided  sampling,  and  image  inpainting,  can  be  reinterpreted  as  viable  planning  strategies  for  reinforcement  learning  problems.
■590    ▼aSchool  code:  0028.
■650  4▼aRobotics.
■650  4▼aComputer  science.
■653    ▼aReinforcement  learning
■653    ▼aDynamics  model
■653    ▼aSingle-step  formulation
■690    ▼a0800
■690    ▼a0771
■690    ▼a0984
■71020▼aUniversity  of  California,  Berkeley▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g85-03B.
■773    ▼tDissertation  Abstract  International
■790    ▼a0028
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T16932454▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.
■980    ▼a202402▼f2024