MARC

 008260126s2025        us                              c    eng  d
■001000017360839
■00520260202105626
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798265428820
■035    ▼a(MiAaPQ)AAI32316560
■035    ▼a(MiAaPQ)Stanfordpd147dc7682
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a519.7
■1001  ▼aKagrecha,  Anmol.
■24510▼aGranular  Feedback  Merits  Sophisticated  Aggregation
■260    ▼a[Sl]▼bStanford  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a61  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Van  Roy,  Benjamin.
■5021  ▼aThesis  (Ph.D.)--Stanford  University,  2025.
■520    ▼aHuman  feedback  is  increasingly  used  across  diverse  applications  like  training  AI  models,  developing  recommender  systems,  and  measuring  public  opinion  -  with  granular  feedback  often  being  preferred  over  binary  feedback  for  its  greater  informativeness.  While  it  is  easy  to  accurately  estimate  a  population's  distribution  of  feedback  given  feedback  from  a  large  number  of  individuals,  cost  constraints  typically  necessitate  using  smaller  groups.  A  simple  method  to  approximate  the  population  distribution  is  regularized  averaging:  compute  the  empirical  distribution  and  regularize  it  toward  a  prior.  Can  we  do  better?  As  we  will  discuss,  the  answer  to  this  question  depends  on  feedback  granularity.Suppose  one  wants  to  predict  a  population's  distribution  of  feedback  using  feedback  from  a  limited  number  of  individuals.  We  show  that,  as  feedback  granularity  increases,  one  can  substantially  improve  upon  predictions  of  regularized  averaging  by  combining  individuals'  feedback  in  ways  more  sophisticated  than  regularized  averaging.Our  empirical  analysis  using  questions  on  social  attitudes  confirms  this  pattern.  In  particular,  with  binary  feedback,  sophistication  barely  reduces  the  number  of  individuals  required  to  attain  a  fixed  level  of  performance.  By  contrast,  with  five-point  feedback,  sophisticated  methods  match  the  performance  of  regularized  averaging  with  about  half  as  many  individuals.Besides  discussing  how  the  advantage  of  sophisticated  aggregation  methods  varies  with  granularity,  we  also  discuss  two  results.  First,  we  discuss  how  sophisticated  aggregation  methods  can  improve  a  typical  pipeline  for  training  large  language  models.  Second,  we  demonstrate  experimentally  that  if  one  has  interacted  sufficiently  many  times  with  a  set  of  individuals,  then  one  could  collect  feedback  from  only  a  subset  of  these  individuals  while  maintaining  equivalent  performance.  Combined  with  our  main  result  that  sophisticated  aggregation  methods  provide  a  larger  advantage  for  granular  feedback,  this  subset  selection  capability  implies  that  the  joint  use  of  sophisticated  aggregation  and  selection  can  substantially  outperform  the  combination  of  regularized  averaging  and  random  selection  when  feedback  is  granular.  A  major  part  of  this  dissertation  is  adapted  from  a  recent  preprint  (Kagrecha  et  al.,  2025)  authored  by  Anmol  Kagrecha,  Henrik  Marklund,  Potsawee  Manakul,  Richard  Zeckhauser,  and  Benjamin  Van  Roy.
■590    ▼aSchool  code:  0212.
■650  4▼aOptimization  techniques
■650  4▼aFamilies  &  family  life
■650  4▼aAttitudes
■650  4▼aAbortion
■650  4▼aCrowdsourcing
■650  4▼aIndividual  &  family  studies
■650  4▼aWeb  studies
■650  4▼aObstetrics
■690    ▼a0628
■690    ▼a0646
■690    ▼a0380
■71020▼aStanford  University.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0212
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17360839▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서