MARC

 008260203s2023        us                              c    eng  d
■001000017365855
■00520260209102839
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798314843734
■035    ▼a(MiAaPQ)AAI32063800
■035    ▼a(MiAaPQ)httphdlhandlenet2142120103
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aLabhishetty,  Sahiti.
■24510▼aModels  and  Evaluation  of  User  Simulation  in  Information  Retrieval
■260    ▼a[Sl]▼bUniversity  of  Illinois  at  Urbana-Champaign▼c2023
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2023
■300    ▼a126  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-11,  Section:  A.
■500    ▼aAdvisor:  Zhai,  ChengXiang.
■5021  ▼aThesis  (Ph.D.)--University  of  Illinois  at  Urbana-Champaign,  2023.
■520    ▼aSearch  and  recommendation  are  crucial  parts  of  many  applications.  Additionally,  assistive  AI  systems  have  become  very  popular  with  successful  intelligent  agent  systems.  Although  the  IIR(interaction  information  retrieval)  systems,  including  conversational  systems,  already  improve  the  user  experience  for  search,  recommendation  and  question  answering,  the  evaluation  of  such  systems  still  has  many  challenges.  For  example,  how  to  compute  the  overall  utility  of  a  system  in  helping  a  user  in  achieving  their  goal?  How  to  compare  different  IIR  systems?  How  to  perform  A/B  testing  that  is  reproducible,  robust  and  less  risky  to  online  user  experience?  User  simulation  enables  controlled  and  reproducible  experiments  and  at  the  same  time  can  simulate  user  interaction  with  an  IIR  system  and  can  evaluate  the  overall  effectiveness  of  an  IIR  system.  User  simulation  in  information  retrieval  (IR)  aims  to  develop  user  models  to  simulate  how  a  user  interacts  with  an  IR  system.  It  involves  simulation  of  user  actions,  behavior  or  decisions  in  a  search  process,  like  query  formulation,  click  simulation,  and  so  on.  User  simulation  in  IR  has  many  applications  like  offline  (without  real  users)  evaluation  of  interactive  IR  systems,  generating  synthetic  data  to  train  IR  models,  especially  for  training  reinforcement  learning  models,  and  modeling  user  behavior  for  analysing  search  behavior.However,  search  user  simulation  is  quite  challenging.  The  existing  models  for  simulating  users  lack  interpretability;  nor  can  they  model  a  user's  cognitive  state.  Most  user  simulation  models  do  not  leverage  user  search  log  data  to  learn  better  models  from  real  user  search  sessions.  Interpretability  is  needed  to  model  meaningful  variations  in  user  behavior  and  thus  simulate  user  actions  corresponding  to  different  types  of  user  behavior.  It  is  important  to  model  a  user's  cognitive  state  to  build  a  more  generalized  formal  model  because  user  actions  are  guided  by  the  latent  user  cognitive  state  which  constitutes  the  user's  knowledge,  information  need  and  search  behavior  characteristics.  It  is  also  challenging  to  utilize  the  search  log  data  of  users  to  build  advanced  simulation  models.  Another  difficult  challenge  that  has  not  yet  been  addressed  in  the  previous  work  is  how  to  assess  the  reliability  of  a  user  simulator  to  evaluate  IIR  systems.My  research  aims  to  address  the  challenges  in  both  modeling  and  evaluation  of  user  simulation.  To  address  the  challenges  in  modeling  users,  I  have  studied  how  to  develop  new  user  models  that  are  both  interpretable  and  can  model  a  changing  user's  cognitive  state  for  user  simulation  in  both  Web  search  and  E-commerce  search  scenarios.  User  search  logs  have  rich  information  about  users  which  can  be  used  for  building  better  user  models.  Therefore,  we  also  propose  a  supervised  user  model  based  on  imitation  learning  which  can  learn  from  large-scale  search  logs  to  simulate  different  user  actions.  To  address  the  limitations  in  the  evaluation  of  user  simulation,  we  propose  a  novel  evaluation  framework  that  evaluates  the  reliability  of  a  user  simulator  where  the  framework  does  not  necessarily  require  real  user  data.  Specifically,  the  following  contributions  are  made  towards  the  thesis:1.  We  propose  a  new  user  model  called  CSUM  (Cognitive  State  User  Model)  for  E-commerce  search  that  models  a  changing  user's  cognitive  state  and  is  parameterized  meaningfully  such  that  the  parameters  correlate  with  different  user  behavior.2.  Query  simulation  is  a  critical  component  of  the  user  simulation.  We  propose  a  novel  unified  Precision  Recall-Effort  (PRE)  optimization  framework  for  simulating  query  formulation  and  reformulation  which  is  applicable  for  modeling  both  Web  search  and  E-commerce  search  users.3.  Search  logs  contain  rich  information  about  user  search  actions  and  behavior,  and  also  enable  modeling  users  with  a  wide  range  of  information  needs.  We  propose  a  novel  Imitation  Learning  based  User  Model  (ILUM)  which  is  a  supervised  user  simulation  model  based  on  imitation  learning  to  learn  from  the  search  logs.  The  ILUM  model  learns  to  simulate  different  user  actions  along  with  deciding  what  action  to  take  next.  It  simulates  user  actions  based  on  all  its  previous  actions  and  the  given  user  task/information  need.4.  We  address  some  of  the  challenges  in  the  evaluation  of  user  simulation  by  proposing  a  novel  Tester-based  evaluation  (TBE)  framework  to  evaluate  the  reliability  of  a  user  simulation  for  comparing  IIR  systems.  The  advantage  is  that  the  framework  does  not  necessarily  require  real  user  data  to  evaluate  the  simulator  and  it  aims  to  evaluate  the  predictive  validity  of  a  simulator.  We  further  extend  the  TBE  framework  by  proposing  the  Reliability  Aware  Tester-based  evaluation  (RATE)  framework  to  address  the  drawbacks  of  the  TBE  framework.We  propose  an  optimization  framework  for  the  query  simulation  and  cognitive  state  models  of  the  user  during  the  search  process  through  PRE  and  CSUM  models,  respectively.  Both  models  are  interpretable  and  can  be  varied  in  order  to  simulate  different  user  behaviors.  PRE  simulates  both  initial  query  formulation  and  subsequent  reformulation  in  a  uniform  manner  and  serves  as  a  roadmap  for  the  systematic  exploration  of  many  new  specific  query  simulation  models  and  algorithms.However,  PRE  and  CSUM  models  cannot  learn  search  patterns  from  user  search  sessions.  Thus,  we  also  propose  a  data-driven  approach  using  search  logs  to  build  a  user  simulation  model  based  on  imitation  learning  which  we  refer  to  as  ILUM((Imitation  Learning  based  User  Model)  model.  The  ILUM  model  can  be  trained  to  simulate  a  complete  user  model,  including  different  user  actions  and  decisions  during  the  search.  The  ILUM  model  can  learn  complex  search  patterns,  but  unlike  PRE  and  CSUM  models  it  lacks  interpretability,  in  that  the  model  cannot  be  varied  meaningfully  to  simulate  different  types  of  users  and  information  needs  for  generating  search  sessions.  As  the  ILUM  model  learns  from  all  sessions  together,  it  learns  to  simulate  an  average  user  in  search,  whereas  PRE  or  CSUM  models  can  simulate  a  specific  type  of  user.  An  interesting  research  focus  could  be  to  build  a  data-driven  user  simulation  model  that  can  meaningfully  simulate  variation  in  search  behavior  for  different  user  types  and  information  needs.Finally,  we  propose  a  novel  evaluation  framework,  RATE,  for  evaluating  user  simulation  models  in  terms  of  reliability  for  comparing  IR  systems.  The  advantage  of  RATE  is  that  it  does  not  necessarily  need  real  user  search  data  to  evaluate  a  simulator  and  can  complement  other  evaluation  metrics.  One  of  the  pivotal  future  works  for  user  simulation  in  IR  would  be  to  develop  an  evaluation  platform  with  many  user  simulators  that  is  available  for  the  research  community  to  utilize  in  the  evaluation  of  IR  systems  or  other  applications.
■590    ▼aSchool  code:  0090.
■650  4▼aComputer  science
■650  4▼aInformation  technology
■650  4▼aInformation  science
■653    ▼aUser  models
■653    ▼aUser  simulation
■653    ▼aEvaluation  of  information  retrieval  systems
■653    ▼aInformation  retrieval
■690    ▼a0984
■690    ▼a0489
■690    ▼a0723
■71020▼aUniversity  of  Illinois  at  Urbana-Champaign▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g86-11A.
■790    ▼a0090
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17365855▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서