MARC

 008260203s2023        us                              c    eng  d
■001000017365880
■00520260209102846
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798291562574
■035    ▼a(MiAaPQ)AAI32271292
■035    ▼a(MiAaPQ)httphdlhandlenet2142121494
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aCampos,  Daniel.
■24510▼aEfficient  and  Robust  Web  Scale  Language  Model  Based  Retrieval,  Generation,  and  Understanding
■260    ▼a[Sl]▼bUniversity  of  Illinois  at  Urbana-Champaign▼c2023
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2023
■300    ▼a203  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-03,  Section:  B.
■500    ▼aAdvisor:  Zhai,  Cheng  Xiang.
■5021  ▼aThesis  (Ph.D.)--University  of  Illinois  at  Urbana-Champaign,  2023.
■520    ▼aLarge  language  models  effectively  generate  contextualized  word  representations  across  languages,  domains,  and  tasks.  Drive  by  these  abilities,  these  models  have  become  a  building  staple  for  many  researchers  and  engineers  who  use  text  as  their  medium  of  representation,  much  like  concrete  is  a  staple  in  the  construction  world.  Via  the  broad  study  and  implementation,  problems  with  large  models  have  come  to  light:  they  can  be  expensive,  brittle  to  noise,  and  produce  unwanted  outputs.  Their  large  size  and  computational  overhead  make  them  difficult  and  costly  to  deploy  and  use  for  inference.  Minor  variations  in  text  inputs,  such  as  typos  or  misspellings,  can  cause  significant  losses  in  model  accuracy.  Seeking  to  improve  how  these  models  can  be  used  for  real  world  usage  and  deployments,  this  thesis  focuses  on  approaches  for  improving  performance  by  compressing,  hardening,  and  optimizing  models'  performance  based  on  deployment  needs.  To  explore  the  challenges  with  largescale  deployments  concerning  robustness  and  inference  efficiency,  we  explore  four  commonly  used  language  workloads:  textual  understanding  and  classification,  passage  retrieval,  and  text  generation.  We  chose  these  broad  but  connected  tasks  to  ensure  that  our  compression  approaches  broadly  apply  to  natural  language  processing.  First,  we  propose  a  general  framework  for  improving  model  inference  on  broad  language  understanding  workloads  by  studying  how  unstructured  pruning,  structured  pruning,  and  quantization  can  be  leveraged  to  compress  models  and  improve  inference  speeds.  Second,  we  examine  how  models  can  be  deployed  for  usage  in  web-scale  generation  and  understanding  workloads.  Leveraging  multi-task  modeling,  asymmetrical  pruning,  knowledge  distillation,  and  quantization  allows  for  cost-efficient  scaling  to  web-scale  workloads.  Third,  we  explore  methods  of  tuning  and  optimizing  dense  retrieval  methods  post-training  to  ensure  they  perform  well  on  real-world  data.  Our  experiments  yield  simple  and  effective  ways  of  increasing  model  robustness  and  decreasing  inference  costs  without  any  need  for  retraining  or  index  re-generation.  Finally,  we  discuss  future  work,  focusing  on  sequential  compression  approaches  to  sequence  LLMs  to  allow  generative  workloads  to  reach  web-scale  deployments.
■590    ▼aSchool  code:  0090.
■650  4▼aComputer  science
■650  4▼aComputer  engineering
■653    ▼aEfficient  inference
■653    ▼aLarge  language  models
■653    ▼aSemantic  retrieval
■653    ▼aWeb-scale  inference
■690    ▼a0984
■690    ▼a0464
■690    ▼a0800
■71020▼aUniversity  of  Illinois  at  Urbana-Champaign▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g87-03B.
■790    ▼a0090
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17365880▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서