MARC

 008260126s2025        us                              c    eng  d
■001000017359141
■00520260202104840
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798297601062
■035    ▼a(MiAaPQ)AAI32172833
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a616
■1001  ▼aQu,  Albert  Jiaxu.
■24510▼aRevisiting  the  Actor-Critic  System  in  Striatum  During  Decision  Making
■260    ▼a[Sl]▼bUniversity  of  California,  Berkeley▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a109  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-04,  Section:  B.
■500    ▼aAdvisor:  Wilbrecht,  Linda.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Berkeley,  2025.
■520    ▼aThe  actor-critic  framework  has  provided  a  foundational  model  of  reinforcement  learning  in  biological  systems.  In  one  of  the  most  popular  version  of  the  model,  the  dorsal  striatum  is  thought  to  function  as  the  "actor"  implementing  action  selection,  while  the  ventral  striatum  functions  as  the  "critic"  for  credit  assignment.  While  this  model  is  highly  successful,  experimental  evidence  increasingly  suggests  that  the  computational  and  neural  mechanisms  underlying  decision  making  may  contain  additional  nuance  or  even  extend  beyond  this  classic  framework.  In  this  thesis,  I  present  experimental  and  computational  work  that  serves  to  refine  our  understanding  of  both  the  critic  and  the  actor,  based  on  recordings  made  in  the  striatal  circuits  of  mice  during  decision  making.In  the  first  study,  I  focused  on  the  critic.  Here,  I  investigated  whether  dopamine  release  in  the  nucleus  accumbens  reflects  Bayesian  inference  computations  beyond  simple  temporal  difference  learning.  Using  fiber  photometry  to  measure  dopamine  signals  during  a  probabilistic  switching  task,  I  compared  predictions  from  Bayesian  inference  models  against  standard  reinforcement  learning  models.  Model  comparison  revealed  that  both  mouse  behavior  and  nucleus  accumbens  dopamine  signals  were  better  explained  by  models  incorporating  Bayesian  inference  for  hidden  state  estimation,  suggesting  that  the  "critic"  system  performs  sophisticated  probabilistic  computations  rather  than  simple  iterative  value  updates.In  the  second  study,  I  focused  on  the  actor.  Here,  I  examined  how  the  dorsal  striatum  implements  active  choice  rejection,  a  process  that  challenges  traditional  models  of  action  selection.  Using  bilateral  recordings  from  direct  and  indirect  pathway  neurons  during  a  serial  decision-making  task  (Restaurant  Row),  I  discovered  that  active  rejection  decisions  involve  distinct  opponency  patterns  compared  to  active  accepting  decisions.  Remarkably,  rejection  choices  showed  significant  ipsilateral  suppression,  while  acceptance  choices  showed  classic  contralateral  activation.  Optogenetic  manipulations  confirmed  the  causal  role  of  this  asymmetric  activity  pattern,  with  unilateral  suppression  of  ipsilateral  direct  pathway  neurons  specifically  enhancing  rejection  of  marginally  valuable  offers. To  conclude,  I  will  discuss  how  these  findings  might  be  used  to  revise  and  update  the  actor-critic  framework.  I  propose  that  the  neural  model  of  the  "critic"  component  be  readily  expanded  to  include  the  possibility  of  Bayesian  inference  mechanisms  that  enable  rapid  adaptation  to  environmental  volatility  through  belief  state  representations.  Then,  I  suggest  that  the  neural  model  of  the  "actor"  system  can  also  be  improved  by  including  hemispheric  opponency,  while  also  accounting  for  hemispheric  specialization  in  cost  and  benefit  processing,  when  lateralized  choice  is  being  implemented.  Together,  these  results  demonstrate  that  biological  decision  making  involves  computational  sophistication  and  circuit  complexity  that  extends  well  beyond  traditional  reinforcement  learning  models,  providing  new  insights  into  the  neural  basis  of  adaptive  behavior  and  offering  refined  frameworks  for  understanding  decision-making  disorders.
■590    ▼aSchool  code:  0028.
■650  4▼aNeurosciences
■650  4▼aBioinformatics
■650  4▼aComputer  science
■653    ▼aActor  critic
■653    ▼aBasal  ganglia
■653    ▼aBayesian  inference
■653    ▼aDecision  making
■653    ▼aReinforcement  learning
■653    ▼aStriatal  circuits
■690    ▼a0317
■690    ▼a0715
■690    ▼a0984
■71020▼aUniversity  of  California,  Berkeley▼bPsychology.
■7730  ▼tDissertations  Abstracts  International▼g87-04B.
■790    ▼a0028
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17359141▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books