MARC

 008260126s2025        us                              c    eng  d
■001000017358126
■00520260202103648
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798314875445
■035    ▼a(MiAaPQ)AAI32092652
■035    ▼a(MiAaPQ)umichrackham005989
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aLiu,  Anthony  Z.
■24510▼aLeveraging  Compositional  Structure  for  Reinforcement  Learning  and  Sequential  Decision  Making  Problems
■260    ▼a[Sl]▼bUniversity  of  Michigan▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a149  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-11,  Section:  A.
■500    ▼aAdvisor:  Lee,  Honglak.
■5021  ▼aThesis  (Ph.D.)--University  of  Michigan,  2025.
■520    ▼aDeep  Learning  approaches  have  made  tremendous  progress  toward  solving  reinforcement  learning  and  sequential  decision-making  problems.  However,  current  approaches  still  struggle  with  long-horizon  tasks  that  require  strong  generalization.  These  are  tasks  that  an  agent  must  solve  using  many  actions  and  may  have  situations  where  the  agent  must  generalize  its  actions  from  prior  experience.  A  dominant  approach  is  to  solve  these  tasks  in  a  hierarchical  manner:  a  high-level  agent  decomposes  a  task  into  multiple  "subtasks"  to  be  individually  solved  by  a  low-level  agent,  which  specializes  in  solving  these  subtasks.  The  effectiveness  of  this  approach  is  enhanced  by  identifying  and  utilizing  the  inherent  compositional  structures  of  tasks,  which  enable  more  efficient  learning  and  broader  generalization.This  dissertation  introduces  novel  methodologies  that  build  on  task  compositionality  to  address  these  challenges.  Key  contributions  include:  (1)  Higher-Order  Skill  Learning:  A  hierarchical  reinforcement  learning  framework  is  proposed,  enabling  low-level  policies  to  optimize  for  sequences  of  subtasks  rather  than  individual  ones,  resulting  in  improved  efficiency  and  performance.  (2)  Parameterized  Task  Structures:  Introducing  parameterized  subtask  graphs  to  model  tasks  with  compositional  structures,  enhancing  both  the  efficiency  of  task  inference  and  generalization  to  unseen  entities.  In  addition,  contributions  that  show  compositional  structure  can  be  used  through  language  and  large  language  models  (LLMs):  (3)  Integrating  Multimodal  Observations  in  Language  Models:  Demonstrating  that  visual  observations  can  be  embedded  as  input  tokens  for  large  language  models  (LLMs),  achieving  state-of-the-art  performance  in  visually  grounded  planning  tasks.  (4)  Skill  Abstractions  for  LLM  Planning:  Highlighting  the  benefits  of  providing  LLMs  with  structured  descriptions  of  subtasks,  or  skills,  to  improve  planning  and  reasoning  capabilities.  (5)  Code-Augmented  Planning:  Proposing  a  method  where  LLMs  use  control  flow  constructs  to  generate  and  execute  code  for  solving  complex  planning  tasks,  significantly  improving  task  performance.Collectively,  these  approaches  showcase  how  leveraging  task  compositionality  through  hierarchical  structures  and  language  from  LLMs  can  improve  reinforcement  learning  and  sequential  decision-making  frameworks.
■590    ▼aSchool  code:  0127.
■650  4▼aComputer  science
■650  4▼aComputer  engineering
■650  4▼aInformation  science
■653    ▼aHierarchical  reinforcement  learning
■653    ▼aTask  decomposition
■653    ▼aLarge  language  models
■653    ▼aTask  generalization
■653    ▼aDecision-making  problems
■690    ▼a0984
■690    ▼a0464
■690    ▼a0723
■71020▼aUniversity  of  Michigan▼bComputer  Science  &  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g86-11A.
■790    ▼a0127
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17358126▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books