MARC

 008250123s2024        us                              c    eng  d
■001000017164034
■00520250211152823
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798384449676
■035    ▼a(MiAaPQ)AAI31559862
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a629.8
■1001  ▼aPapadimitriou,  Dimitris.
■24510▼aConstraint  Inference  in  Control  and  Reinforcement  Learning
■260    ▼a[Sl]▼bUniversity  of  California,  Berkeley▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a104  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-03,  Section:  B.
■500    ▼aAdvisor:  Komvopoulos,  Kyriakos.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Berkeley,  2024.
■520    ▼aInferring  unknown  constraints  is  a  challenging  and  crucial  problem  in  many  robotics  applications.  When  only  expert  demonstrations  are  available,  it  becomes  essential  to  infer  the  unknown  domain  constraints  to  deploy  additional  agents  effectively.  In  this  work,  we  propose  approaches  to  infer  constraints  by  observing  experts  act  in  an  environment  in  different  scenarios.First,  we  develop  an  approach  to  infer  affine  constraints  in  control  tasks  by  observing  expert  demonstrations.  We  formulate  the  constraint  inference  problem  as  an  inverse  optimization  problem,  and  we  propose  an  alternating  optimization  scheme  that  infers  the  unknown  constraints  by  minimizing  a  KKT  residual  objective.  We  demonstrate  the  effectiveness  of  our  method  in  a  number  of  simulations,  and  show  that  our  method  can  infer  less  conservative  constraints  than  another  baseline  method,  while  maintaining  comparable  safety  guarantees.Second,  we  move  to  a  Reinforcement  Learning  framework  and  we  consider  the  problem  of  inferring  constraints  from  demonstrations  using  a  Bayesian  perspective.  We  propose  Bayesian  Inverse  Constraint  Reinforcement  Learning  (BICRL),  a  novel  approach  that  infers  a  posterior  probability  distribution  over  constraints  from  demonstrated  trajectories.  The  main  advantages  of  BICRL,  compared  to  prior  constraint  inference  algorithms,  are  (1)  the  freedom  to  infer  constraints  from  partial  trajectories  and  even  from  disjoint  state-action  pairs,  (2)  the  ability  to  infer  constraints  from  suboptimal  demonstrations  and  in  stochastic  environments,  and  (3)  the  opportunity  to  use  the  posterior  distribution  over  constraints  in  order  to  implement  active  learning  and  robust  policy  optimization  techniques.  We  show  that  BICRL  outperforms  pre-existing  constraint  learning  approaches,  leading  to  more  accurate  constraint  inference  and  consequently  safer  policies.  We  further  propose  Hierarchical  BICRL  that  infers  constraints  locally  in  sub-spaces  of  the  entire  domain  and  then  composes  global  constraint  estimates  leading  to  accurate  and  computationally  efficient  constraint  estimation.Our  third  contribution  is  also  based  on  a  Reinforcement  Learning  framework.  In  that,  we  propose  a  novel  Bayesian  method  that  infers  constraints  based  on  preferences  over  demonstrations.  The  main  advantages  of  our  proposed  approach  are  that  it  (1)  infers  constraints  without  calculating  a  new  policy  at  each  iteration,  (2)  uses  a  simple  and  more  realistic  ranking  of  groups  of  demonstrations,  without  requiring  pairwise  comparisons  over  all  demonstrations,  and  (3)  adapts  to  cases  where  there  are  varying  levels  of  constraint  violation.  Our  empirical  results  demonstrate  that  our  proposed  Bayesian  approach  infers  constraints  of  varying  severity,  more  accurately  than  state-of-the-art  constraint  inference  methods.
■590    ▼aSchool  code:  0028.
■650  4▼aRobotics
■650  4▼aComputer  science
■650  4▼aMechanical  engineering
■653    ▼aActive  learning
■653    ▼aBayesian  optimization
■653    ▼aConstraint  inference  problem
■653    ▼aInverse  Control  Problem
■653    ▼aInverse  Reinforcement  Learning
■653    ▼aPreference  learning
■690    ▼a0771
■690    ▼a0984
■690    ▼a0548
■71020▼aUniversity  of  California,  Berkeley▼bMechanical  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g86-03B.
■790    ▼a0028
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17164034▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서