MARC

 008250123s2024        us                              c    eng  d
■001000017164600
■00520250211153021
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798896071280
■035    ▼a(MiAaPQ)AAI31632062
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a616
■1001  ▼aFang,  Ching.
■24510▼aBiological  Models  of  Prediction  and  Memory  Formation  in  the  Hippocampus
■260    ▼a[Sl]▼bColumbia  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a204  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-04,  Section:  B.
■500    ▼aAdvisor:  Aronov,  Dmitriy;Abbott,  L.  F.
■5021  ▼aThesis  (Ph.D.)--Columbia  University,  2024.
■520    ▼aThe  hippocampus  is  a  brain  region  known  to  support  several  cognitive  functions.  In  particular,  it  is  necessary  for  the  formation  of  episodic  memories.  These  are  memories  of  personal  experiences,  and  they  are  formed  in  an  one-shot  manner.  The  hippocampus  has  also  been  suggested  to  support  the  formation  of  cognitive  maps.  Cognitive  maps  are  mental  representations  of  how  concepts  or  locations  are  connected  to  each  other.  These  maps  may  be  formed  through  predictive  learning  in  the  hippocampus.  However,  it  is  unclear  how  either  of  these  processes  are  supported  on  the  level  of  neural  circuits.  This  thesis  aims  to  understand,  through  theoretical  modeling,  how  networks  of  neurons  are  able  to  organize  and  learn  to  function  as  episodic  memory  systems  and  predictive  centers.In  chapter  2,  we  first  explore  how  predictive  cognitive  maps  may  be  formed  in  a  biological  circuit.  We  begin  by  analyzing  a  popular  description  of  hippocampal  activity  called  the  successor  representation  (SR).  The  SR  is  an  algorithm  that  models  population  activity  in  the  hippocampus  as  a  rollout  of  a  transition  probability  matrix  estimated  from  the  animal's  experience.  We  explore  how  this  algorithm  can  be  learned  by  neurons  in  the  brain  by  deriving  an  equivalent  neural  circuit  that  can  learn  the  SR  using  neurally  plausible  learning  rules.  We  simulate  activity  from  this  neural  network  and  show  that  it  matches  experimental  predictions  of  hippocampal  activity.  A  key  component  of  the  model  we  construct  is  the  ability  to  use  the  strength  of  recurrent  connectivity  as  a  means  to  control  the  time  horizon  of  prediction  from  the  model.  This  feature  of  the  model  can  support  flexible  use  of  prediction  across  different  cognitive  tasks.  Overall,  this  work  suggests  a  biological  mechanism  for  how  predictive  activity  may  arise  in  the  hippocampus.In  chapter  3,  we  investigate  how  a  predictive  region  (similar  to  the  model  of  the  hippocampus  discussed  in  chapter  2)  may  influence  representations  found  in  other  brain  regions.  Specifically,  we  take  inspiration  from  deep  reinforcement  learning  (RL)  to  construct  a  multi-region  model.  In  deep  RL,  the  state  space  of  the  agent  must  be  inferred  from  high-dimensional  and  complex  sensory  inputs.  Thus,  deep  RL  systems  are  imbued  with  sensory  encoders  that  estimate  the  state  of  the  agent.  In  a  model-free  setting,  this  state  estimate  is  then  passed  to  a  value  learning  system.  To  improve  the  representations  learned  by  the  encoder,  it  is  standard  practice  to  add  auxiliary  objectives  to  the  model.  A  common  auxiliary  objective  is  predictive  learning  via  an  additional  predictive  network.  The  use  of  a  sensory  encoder,  value  learning  system,  and  predictive  network  parallels  the  suggested  functions  of  the  sensory  system,  striatum,  and  hippocampus,  respectively.  Keeping  in  mind  this  biological  analogy,  we  explore  how  predictive  objectives  shape  representations  across  a  deep  RL  network.  We  discuss  how  this  may  suggest  a  role  for  the  hippocampus  as  a  representation  learning  system  to  support  other  brain  regions.In  chapter  4,  we  return  to  a  crucial  function  of  the  hippocampus--  that  of  an  episodic  memory  store.  We  aim  to  develop  a  biological  model  of  memory  storage  and  retrieval.  Typically,  neural  network  models  of  the  hippocampus  are  based  off  autoassociative  networks  like  the  Hopfield  network.  Here,  we  consider  an  alternative  instantiation  of  episodic  memory  inspired  by  models  used  in  machine  learning.  In  machine  learning,  memory  is  often  stored  in  key-value,  or  slot-based,  systems.  In  these  systems,  memory  is  stored  in  slots  addressable  by  ``keys''  that  may  be  unrelated  to  the  memory  content,  or  ``value''.  However,  there  is  not  a  clear  biological  interpretation  of  these  types  of  memory  systems.    In  this  chapter,  we  suggest  a  biological  implementation  of  a  key-value  memory  network  using  a  feedforward  network  with  neural  learning  rules.  This  network  is  capable  of  faithfully  storing  many  memories,  even  when  correlations  are  present  across  memories.  We  also  discuss  how  key-value  memory  networks  are  reminiscent  of  classic  theories  of  hippocampal  memory  that  describes  hippocampal  activity  as  an  ``index''  into  cortical  memories.  Beyond  suggesting  a  specific  model  of  biological  key-value  memory,  we  propose  an  alternative  view  on  hippocampal  memory.In  chapter  5,  we  develop  the  ideas  from  chapter  4  further  by  taking  inspiration  from  recent  experimental  findings  in  the  hippocampus  of  black-capped  chickadees.  Black-capped  chickadees  are  memory-specialist  birds  that  are  model  organisms  for  the  study  of  long-term  memory  in  the  hippocampus.  Specifically,  they  engage  in  food-caching  behavior  that  requires  the  ability  to  precisely  recall  the  location  of  many  food  caches.  To  gain  insight  into  memory  formation,  \\citet{chettih2023barcoding}  recorded  hippocampal  activity  from  these  birds  while  they  cache  and  retrieve  seeds.  The  authors  discovered  neural  activity  encoding  the  location  of  the  animal  and  activity  encoding  the  presence  of  seeds.  In  addition,  they  also  discovered  --in  the  same  neural  population--  sparse,  high-dimensional  activity  patterns  that  were  unique  to  each  cache  and  highly  uncorrelated.  These  ``barcodes''  are  a  suggestion  of  index-like  activity  in  the  hippocampus.  In  this  chapter,  we  design  a  recurrent  neural  network  that  replicates  experimental  findings  from  \\citet{chettih2023barcoding}.  We  show  how  an  indexing-based  memory  system  is  functionally  advantageous  as  it  allows  for  precise  storage  of  potentially  correlated  memories.  This  work,  which  unites  experimental  and  theoretical  discoveries,  suggests  a  re-imagining  of  classic  theories  of  hippocampal  memory.In  this  thesis,  we  have  sought  to  understand  the  system-level  mechanisms  that  support  hippocampal  function.  While  it  is  understood  that  the  hippocampus  is  important  for  cognition,  much  is  still  unknown  about  the  biological  processes  underlying  this  region.  We  believe  our  findings  here  have  deepened  our  understanding  of  the  hippocampus  and  suggested  new  avenues  of  research  to  further  the  field.
■590    ▼aSchool  code:  0054.
■650  4▼aNeurosciences
■650  4▼aBehavioral  psychology
■650  4▼aCognitive  psychology
■653    ▼aHippocampus
■653    ▼aEpisodic  memories
■653    ▼aDeep  reinforcement  learning
■653    ▼aAutoassociative  networks
■690    ▼a0317
■690    ▼a0633
■690    ▼a0384
■71020▼aColumbia  University▼bNeurobiology  and  Behavior.
■7730  ▼tDissertations  Abstracts  International▼g86-04B.
■790    ▼a0054
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17164600▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books