MARC

 008250123s2024        us                              c    eng  d
■001000017162530
■00520250211152023
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798346567790
■035    ▼a(MiAaPQ)AAI31332569
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a616
■1001  ▼aRomero  Pinto,  Sandra.▼0(orcid)0000-0003-0194-1198
■24510▼aBiological  Constraints  and  Mechanisms  for  Reinforcement  Learning
■260    ▼a[Sl]▼bHarvard  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a217  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-05,  Section:  B.
■500    ▼aAdvisor:  Uchida,  Naoshige;Polley,  Daniel.
■5021  ▼aThesis  (Ph.D.)--Harvard  University,  2024.
■520    ▼aThis  thesis  concerns  the  application  of  the  theory  of  reinforcement  learning  (RL)  to  neuroscience.  Like  many  aspects  of  cognition,  learning  can  be  studied  with  a  wide  range  of  approaches  from  the  computational,  network  and  systems  level,  to  the  cellular  and  biophysical  levels.  This  breadth  of  disciplines  makes  the  integration  of  findings  challenging,  causing  critical  insights  to  be  missed.  This  thesis  addresses  two  challenges  in  integrating  RL  theories  with  the  mechanistic  study  of  learning  in  the  brain.  In  Chapter  1  we  examine  how  biological  factors  in  the  brain  might  facilitate  existing  theories  related  to  risk  sensitivity  in  RL.  In  Chapter  2,  we  use  neural  network  models  to  generate  hypotheses  about  how  state  representations  could  be  implemented  in  the  brain,  and  experimentally  test  them.We  begin  by  highlighting  the  connection  between  dopamine's  role  in  RL  and  its  underlying  biological  mechanisms-  the  modulation  of  plasticity  in  the  basal  ganglia.  We  apply  key  insights  from  this  experimental  research  to  develop  a  biologically-informed  RL  model  that  aligns  with  dopamine-dependent  plasticity  rules.  In  this  model  we  address  the  challenge  that,  while  computational  models  estimate  value  predictions  objectively,  animals  exhibit  biased  estimates  and  varied  risk  sensitivities.  Our  model  highlights  a  previously  overlooked  factor-the  modulation  of  dopamine  receptor  sensi-  tivity  by  baseline  dopamine  levels-which  naturally  leads  to  risk  sensitivities  and  biases  in  value  learning.  This  model  not  only  explains  experimental  results  that  previous  models  failed  to  capture,  it  also  provides  a  potential  explanation  to  the  persistent  biases  in  value  predictions  seen  in  mental  health  disorders  such  as  depression,  Parkinson's  disease  and  addiction.We  then  tackle  another  challenge:  while  traditional  models  typically  assume  fully  observable  states,  in  natural  environments  states  are  often  hidden  and  must  be  inferred.  This  leads  to  the  need  to  estimate  a  probability  distribution  over  possible  states  -  called  belief  states.  Computing  belief  states  can  become  intractable  in  complex  environments,  raising  questions  about  how  the  brain  achieves  this.  Our  previous  modeling  work  showed  that  training  recurrent  neural  networks  to  predict  value  in  a  task  with  hidden  states  leads  to  the  emergence  of  network  dynamics  that  resemble  belief  states,  without  being  explicitly  instructed  to  infer  them.  We  therefore  hypothesized  that  belief  states  could  be  instantiated  through  neuronal  dynamics  in  the  brain  developed  by  optimizing  value  predictions.  We  test  this  hypothesis  by  recording  population  neural  activity  in  frontal  cortical  regions  in  mice  trained  in  the  same  task.  Our  findings  show  that  neuronal  dynamics  consistent  with  belief  states  are  indeed  present  in  frontal  regions  in  well-trained  mice,  but  absent  in  primary  motor  cortical  areas  or  during  early  stages  of  learning.  Together,  these  results  indicate  that  population  neural  dynamics  facilitate  the  representation  of  belief  states,  and  that  reinforcement  learning-both  in  the  brain  and  artificial  neural  networks-  refines  these  representations  to  enhance  the  accuracy  of  value  predictions.
■590    ▼aSchool  code:  0084.
■650  4▼aNeurosciences
■650  4▼aPsychology
■650  4▼aComputer  science
■653    ▼aDepression
■653    ▼aDopamine
■653    ▼aDynamical  systems
■653    ▼aNeural  networks
■653    ▼aReinforcement  learning
■690    ▼a0317
■690    ▼a0621
■690    ▼a0984
■71020▼aHarvard  University▼bMedical  Sciences.
■7730  ▼tDissertations  Abstracts  International▼g86-05B.
■790    ▼a0084
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17162530▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books