MARC

 008260126s2025        us                              c    eng  d
■001000017358879
■00520260202104804
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798288863653
■035    ▼a(MiAaPQ)AAI32165026
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aRajaraman,  Nived.
■24510▼aBridging  Demonstrations  and  Decisions:  Theory  and  Algorithms  for  Provable  Imitation  Learning
■260    ▼a[Sl]▼bUniversity  of  California,  Berkeley▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a184  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-01,  Section:  B.
■500    ▼aAdvisor:  Ramchandran,  Kannan;Jiao,  Jiantao.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Berkeley,  2025.
■520    ▼aClassical  supervised  learning  paradigms  typically  assume  that  training  data  samples  are  independently  drawn  from  a  target  distribution.  However,  real-world  scenarios  frequently  violate  this  assumption,  presenting  data  that  are  temporally  correlated,  dynamically  evolving,  or  a  result  of  strategic  interaction.  Learning  in  these  settings  is  often  significantly  more  challenging  both  from  a  theoretical  and  a  practical  point  of  view  for  these  reasons.  Recent  advances  in  reinforcement  learning  (RL)  have  shown  that  it  is  possible  to  train  agents  which  can  operate  and  generalize  in  settings  where  the  number  of  possible  outcomes  is  huge.  However,  there  are  a  number  of  challenges  with  running  RL  algorithms:  these  approaches  rely  on  collecting  a  large  amount  of  ``exploration''  data,  resulting  from  interaction  with  a  dynamic  environment.  This  form  of  active  data  collection  is  often  prohibitively  expensive  in  practice,  making  mistakes  may  be  costly,  such  as  in  settings  involving  human  interaction,  and  this  form  of  data  collection  may  be  hard  to  reuse.  Mitigating  these  concerns  requires  developing  new  frameworks  for  RL.In  this  dissertation,  we  develop  algorithms  and  analyses  for  an  alternate  learning  paradigm  that  aims  to  utilize  static  datasets  generated  by  a  demonstrator  for  training  policies.  This  paradigm  broadens  the  applicability  of  RL  to  a  variety  of  decision-making  problems  where  historical  datasets  already  exist  or  can  be  collected  via  domain-specific  strategies,  and  which  are  infinitely  reusable.  It  also  brings  the  scalability  and  reliability  benefits  that  modern  supervised  and  unsupervised  ML  methods  enjoy  into  RL.  That  said,  instantiating  this  paradigm  is  challenging  as  it  requires  reconciling  the  static  nature  of  learning  from  offline  datasets  (against  a  fixed  distribution  of  problem  instances)  with  the  traditionally  interactive  nature  of  RL.  A  major  part  of  this  thesis  is  geared  toward  addressing  precisely  how  much  of  a  price  one  must  pay  to  forgo  the  power  of  environment  interaction.Imitation  Learning  (IL)  techniques  have  found  a  home  in  several  areas,  from  policy  initialization  in  game-solving  agents  like  AlphaGo,  and  more  recently  as  a  fine-tuning  backbone  in  the  form  of  supervised  fine‐tuning  (SFT)  for  large  language  models  (LLMs).  The  key  challenge  in  all  these  domains  is  obtaining  sufficiently  large,  diverse,  and  high‐quality  demonstration  datasets.  While  more  data  typically  yields  better  performance,  expert  data  can  be  expensive  to  collect.  We  see  this  challenge  manifest  in  several  forms:  in  robotics  and  control,  acquiring  teleoperated  or  human‐guided  trajectories  often  requires  specialized  hardware  (e.g.  motion‐capture  rigs  or  force‐feedback  devices)  and  careful  calibration,  limiting  the  scale  of  dataset  collection.  In  autonomous  driving,  critical  "edge‐case''  scenarios  (e.g.  collision  avoidance  in  unusual  weather)  are  inherently  rare,  yet  essential  for  safety;  collecting  them  either  in  simulation  or  on‐road  is  time‐consuming  and  costly.  On  the  other  hand,  for  training  LLMs:  fine‐tuning  large  language  models  relies  on  human‐annotated  data,  which  is  hard  to  parallelize  and  incurs  substantial  annotation  time.Thus,  it  is  pertinent  to  understand  how  best  to  utilize  the  dataset  and  leverage  favorable  properties  of  the  environment  and  the  demonstrator.  In  this  thesis,  we  will  build  an  understanding  of  these  questions  via  studying  Imitation  Learning  from  a  theoretical  point  of  view.  We  will  formulate  a  statistical  question  and  analyze  the  best  achievable  statistical  error  that  algorithms  can  achieve  in  various  models  of  feedback.  We  will  utilize  these  insights  to  scale  up  these  algorithmic  ideas  and  leverage  the  expressivity  and  representation  power  offered  by  highly  expressive  function  approximators  to  develop  performant,  practical  algorithms.  Along  the  way,  we  will  develop  various  insights  into  the  landscape  of  the  IL  problem,  and  build  a  comprehensive  understanding  and  unification  of  algorithms  that  have  already  been  successfully  deployed  in  practice,  such  as  Behavior  Cloning  and  GAIL  and  provide  principled  improvements  to  these  approaches.
■590    ▼aSchool  code:  0028.
■650  4▼aComputer  science
■650  4▼aElectrical  engineering
■650  4▼aStatistics
■650  4▼aComputer  engineering
■650  4▼aApplied  mathematics
■653    ▼aBehavior  cloning
■653    ▼aImitation  learning
■653    ▼aMinimax
■653    ▼aReinforcement  learning
■653    ▼aSupervised  fine‐tuning
■690    ▼a0984
■690    ▼a0544
■690    ▼a0463
■690    ▼a0464
■690    ▼a0364
■71020▼aUniversity  of  California,  Berkeley▼bElectrical  Engineering  &  Computer  Sciences.
■7730  ▼tDissertations  Abstracts  International▼g87-01B.
■790    ▼a0028
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17358879▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서