MARC

 008260126s2025        us                              c    eng  d
■001000017357333
■00520260202103209
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798291558157
■035    ▼a(MiAaPQ)AAI32000696
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a020
■1001  ▼aQu,  Jiaming.
■24510▼aExplaining  Unintuitive  Feature  Importance  Explanations
■260    ▼a[Sl]▼bThe  University  of  North  Carolina  at  Chapel  Hill▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a166  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-02,  Section:  A.
■500    ▼aAdvisor:  Wang,  Yue.
■5021  ▼aThesis  (Ph.D.)--The  University  of  North  Carolina  at  Chapel  Hill,  2025.
■520    ▼aExplainable  AI  (XAI)  research  has  proposed  a  variety  of  approaches  for  explaining  machine  learning  model  predictions  to  end-users.  Feature  importance  explanation,  which  highlights  input  features  that  are  most  influential  to  the  output,  is  a  popular  and  effective  approach.  Studies  have  developed  different  algorithms  to  identity  important  features,  and  also  empirically  shown  that  such  explanations  can  improve  end-users'  decision-making  performance  and  understanding  of  the  AI  system  in  certain  tasks.  Despite  these  promising  advancements,  a  critical  gap  remains  open:  features  deemed  predictive  by  algorithms  can  appear  unintuitive  to  humans.  For  instance,  prior  studies  found  that  the  word  ``problems''  predicts  positive  sentiment  in  product  reviews,  and  the  word  ``Chicago''  is  strongly  associated  with  deceptive  hotel  reviews.  However,  most  XAI  research  on  feature  importance  explanations  does  not  further  explain  why  a  feature  is  predictive.  Therefore,  this  dissertation  explores  an  underexplored  area  in  XAI  research:  explaining  unintuitive  feature  importance  explanations.  Using  deception  detection  as  a  case  study,  this  dissertation  investigated  two  primary  research  questions.The  first  research  question  focused  on  developing  a  computational  approach  to  explaining  predictive  but  unintuitive  words  in  deception  detection.  While  previous  research  has  used  contextual  information  to  explain  unintuitive  words  in  sentiment  analysis,  those  in  deception  detection  often  represent  some  underlying  phenomena  that  are  too  complex  to  be  captured  by  local  context.  To  this  end,  I  leveraged  a  large  language  model  (LLM)  to  conjecture  the  phenomena  associated  with  words  predictive  of  a  review  being  genuine  or  deceptive,  and  then  conducted  algorithmic  evaluations  to  validate  the  technical  reliability  of  this  LLM-based  approach.  The  evaluation  results  confirmed  that  the  LLM  used  in  this  dissertation  (GPT-4o)  generated  non-hallucinated  and  generalizable  phenomena  that  effectively  explained  why  a  word  is  predictive  of  genuine  or  deceptive  reviews.The  second  research  question  focused  on  evaluating  how  unintuitive  words  and  LLM-generated  explanations  influence  participants  in  a  decision-making  task.  To  address  this  research  question,  I  conducted  a  crowdsourced  user  study  (N=220).  In  the  study,  participants  first  interacted  with  an  AI  system  and  judged  a  sequence  of  eight  Chicago  hotel  reviews.  Participants  were  randomly  assigned  to  one  of  five  interface  conditions  (i.e.,  a  between-subjects  design).  The  interface  conditions  varied  in  terms  of  the  AI  assistance  features  made  available  to  participants.  Then,  participants  independently  completed  a  task  of  detecting  deceptive  hotel  reviews  from  other  cities.  The  study  results  found  that  showing  predictive  words  without  explaining  why  they  are  predictive  was  no  better  than  not  showing  them  at  all,  while  explaining  why  these  words  are  predictive  significantly  enhanced  participants'  learning  of  the  task,  appropriate  reliance  on  AI  assistance,  and  perceptions  of  the  AI  system.In  summary,  this  dissertation  makes  three  key  contributions:  (1)  it  sheds  light  on  the  critical  issue  of  unintuitive  feature  importance  explanations  and  the  urgent  need  for  making  them  understandable  to  end-users;  (2)  it  introduces  a  conjecture-then-validate  pipeline  for  explaining  unintuitive  words  through  LLMs;  (3)  it  provides  empirical  insights  into  how  unintuitive  words  and  LLM-generated  explanations  influence  end-users  during  decision-making.  This  dissertation  offers  an  important  design  implication  for  future  XAI  research:  machine-generated  explanations  should  be  aligned  with  human  intuition  and  common  sense  to  facilitate  effective  human-AI  interaction.
■590    ▼aSchool  code:  0153.
■650  4▼aInformation  science
■653    ▼aExplainable  AI
■653    ▼aHuman-AI  interaction
■653    ▼aLarge  language  models
■653    ▼aUnintuitive  features
■653    ▼aUser  studies
■690    ▼a0723
■71020▼aThe  University  of  North  Carolina  at  Chapel  Hill▼bInformation  and  Library  Science.
■7730  ▼tDissertations  Abstracts  International▼g87-02A.
■790    ▼a0153
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17357333▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books