MARC

 008260126s2024        us                              c    eng  d
■001000017358751
■00520260202104746
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798290652214
■035    ▼a(MiAaPQ)AAI32149759
■035    ▼a(MiAaPQ)Stanfordzc625xj7842
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a400
■1001  ▼aKhattab,  Omar  Ahmed  Metwally.
■24510▼aBuilding  More  Reliable  and  Scalable  AI  Systems  with  Foundation  Model  Programming
■260    ▼a[Sl]▼bStanford  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a140  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-01,  Section:  A.
■500    ▼aAdvisor:  Manning,  Christopher;Potts,  Christopher;Zaharia,  Matei.
■5021  ▼aThesis  (Ph.D.)--Stanford  University,  2024.
■520    ▼aLanguage  models  (LMs),  and  more  broadly  foundation  models,  have  made  it  much  easier  to  prototype  impressive  AI  demos,  but  turning  these  models  into  reliable  and  scalable  AI  systems  remains  challenging.  Indeed,  today's  user-facing  LMs  often  fabricate  statements  and  make  fundamental  reasoning  errors,  while  imposing  enormous  costs.  We  argue  that  the  monolithic  nature  of  LMs  is  what  makes  them  hard  to  control,  debug,  and  improve  in  modular  and  iterative  ways  when  building  AI  systems.To  address  this,  this  dissertation  introduces  foundation  model  programming,a  new  paradigm  centered  on  designing  controllable  systems  that  use  LMs  as  modular  fuzzy  components  and  teach  them  the  right  system-level  behavior  via  trial  and  error.  To  support  this,  we  introduce  (1)  a  new  paradigm  of  information  retrieval  (IR)  models  by  composing  rich  yet  pruning-friendly  interactions  between  token-level  LM  representations,  (2)  a  new  generation  of  scalable  retrieval-based  reasoning  systems,and  (3)  a  powerful  compiler  for  natural  language  programming  abstractions.  We  support  these  by  proposing  new  algorithms  for  efficiently  searching  LM-based  representations  at  scale,  for  weakly  supervising  natural  language  processing  (NLP)  systems  with  incomplete  labels,  and  for  optimizing  the  prompts  of  LMs  inside  arbitrary  programs.This  culminates  in  the  ColBERTparadigm  for  neural  IR  and  in  the  DSPyframework  for  natural  language  programming.  We  demonstrate  through  these  contributions  that  making  broad  progress  in  AI  is  not  restricted  to  training  larger  models,  but  can  take  the  form  of  designing  general  toolsthat  grant  AI  researchers  and  developers  the  capacity  to  controllably  improve  their  systems  via  composition,  to  transparently  ground  their  systems'  responses  in  massive  knowledge  collections,  and  to  scalably  deploy  their  systems  via  new  algorithms  and  new  compositions  of  smaller  LMs.
■590    ▼aSchool  code:  0212.
■650  4▼aLanguage
■650  4▼aSoftware
■650  4▼aRelevance
■650  4▼aNatural  language  processing
■650  4▼aHallucinations
■650  4▼aDocuments
■650  4▼aRetrieval  performance  measures
■650  4▼aInformation  retrieval
■690    ▼a0679
■71020▼aStanford  University.
■7730  ▼tDissertations  Abstracts  International▼g87-01A.
■790    ▼a0212
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17358751▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books