MARC

 008250123s2024        us                              c    eng  d
■001000017160302
■00520250211150953
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798383163184
■035    ▼a(MiAaPQ)AAI30993347
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a020
■1001  ▼aLi,  Changye.
■24510▼aDetecting  Cognitive  Impairment  From  Language  and  Speech  for  Early  Screening  of  Alzheimer's  Disease  Dementia  With  Interpretable  Transformer-Based  Language  Models
■260    ▼a[Sl]▼bUniversity  of  Minnesota▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a141  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  85-12,  Section:  B.
■500    ▼aAdvisor:  Pakhomov,  Serguei.
■5021  ▼aThesis  (Ph.D.)--University  of  Minnesota,  2024.
■520    ▼aAlzheimer's  disease  (AD)  is  a  neurodegenerative  disorder  that  affects  the  use  of  speech  and  language  and  is  diffcult  to  diagnose  in  its  early  stages.  Neural  language  models  (NLMs)  have  delivered  impressive  performance  on  the  task  of  discriminating  between  language  produced  by  cognitively  healthy  individuals,  and  those  with  AD.  As  artificial  neural  networks  (ANNs)  grow  in  complexity,  understanding  their  inner  workings  becomes  increasingly  challenging,  which  is  particularly  important  in  healthcare  applications.  The  intrinsic  evaluation  metrics  of  autoregressive  NLMs  (e.g.,  predicting  the  next  token  given  the  context),  such  as  perplexity  (PPL),  reflecting  a  model's  "surprise"  at  novel  input,  and  have  been  widely  used  to  understand  the  behavior  of  NLMs.  As  an  alternative  to  fitting  model  parameters  directly,  this  thesis  proposes  a  novel  method  by  which  a  pre-trained  transformer-based  NLM,  GPT-2,  is  paired  with  an  artificially  degraded  version  of  itself,  GPT-D,  to  compute  the  ratio  between  these  two  models'  PPLs  on  language  from  cognitively  healthy  and  impaired  individuals.  This  technique  approaches  state-of-the-art  (SOTA)  performance  on  text  data  from  a  widely  used  "Cookie  Theft"  picture  description  task,  and  unlike  established  alternatives  also  generalizes  well  to  spontaneous  conversations,  the  degraded  models  generate  text  with  characteristics  known  to  be  associated  with  AD,  demonstrating  the  induction  of  dementia-related  linguistic  anomalies.  The  novel  attention  head  ablation  method  employed  in  this  thesis  exhibits  properties  attributed  to  the  concepts  of  cognitive  and  brain  reserve  in  human  brain  studies,  which  postulate  that  people  with  more  neurons  in  the  brain  and  more  effcient  processing  are  more  resilient  to  neurodegeneration.  The  results  show  that  larger  GPT-2  models  require  a  disproportionately  larger  share  of  attention  heads  to  be  masked/ablated  to  display  degradation  of  similar  magnitude  to  masking  in  smaller  models.To  realize  their  benefits  for  assessment  of  mental  status,  transformer-based  NLMs  require  verbatim  transcriptions  of  speech  from  patients.  While  such  models  have  shown  promise  in  detecting  cognitive  impairment  from  language  samples,  the  feasibility  of  deploying  such  automated  tools  in  large-scale  clinical  settings  depends  on  the  ability  to  reliably  capture  and  transcribe  the  speech  input.  Currently  available  automatic  speech  recognition  ASR  solutions  have  improved  dramatically  over  the  last  few  years  but  are  still  not  perfect  and  can  have  high  error  rates  on  challenging  speech,  such  as  speech  from  audio  data  with  sub-optimal  recording  quality.  One  of  the  key  questions  for  successfully  applying  ASR  technology  for  clinical  applications  is  whether  imperfect  transcripts  generated  by  ASR  provide  sufficient  information  for  downstream  tasks  to  operate  at  an  acceptable  level  of  accuracy.  This  thesis  examines  the  relationship  between  the  errors  produced  by  several  transformer-based  ASR  systems  and  their  impact  on  downstream  dementia  classification.  One  of  the  key  findings  is  that  ASR  errors  may  provide  important  features  for  this  downstream  classification  task,  resulting  in  better  performance  compared  to  using  manual  transcripts.In  summary,  this  thesis  is  a  step  toward  a  better  understanding  of  the  relationships  between  the  inner  workings  of  generative  NLMs,  the  language  that  they  produce,  and  the  deleterious  effects  of  dementia  on  human  speech  and  language  characteristics.  The  probing  methods  also  suggest  that  the  attention  mechanism  in  transformer  models  may  present  an  analogue  to  the  notions  of  cognitive  and  brain  reserve  and  could  potentially  be  used  to  model  certain  aspects  of  the  progression  of  neurodegenerative  disorders  and  aging.  Additionally,  the  results  presented  in  this  thesis  suggest  that  the  ASR  models  and  the  downstream  classification  models  react  to  acoustic  and  linguistic  dementia  manifestations  in  systematic  and  mutually  synergistic  ways,  which  would  have  significant  implications  for  use  of  ASR  technology.
■590    ▼aSchool  code:  0130.
■650  4▼aInformation  science
■650  4▼aComputer  science
■650  4▼aHealth  sciences
■650  4▼aNeurosciences
■653    ▼aAlzheimer's  disease
■653    ▼aAutomatic  speech  recognition
■653    ▼aNatural  language  processing
■653    ▼aArtificial  neural  networks
■690    ▼a0723
■690    ▼a0984
■690    ▼a0566
■690    ▼a0317
■71020▼aUniversity  of  Minnesota▼bHealth  Informatics.
■7730  ▼tDissertations  Abstracts  International▼g85-12B.
■790    ▼a0130
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17160302▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서