008240612s2023      us  |||||||||||||||c||eng  d
■001000016932338
■00520240214100445
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798379717254
■035    ▼a(MiAaPQ)AAI30491635
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aSu,  Yushan.
■24510▼aMaking  Neural  Network  Models  More  Efficient▼h[electronic  resource]
■260    ▼a[S.l.]:▼bPrinceton  University.  ▼c2023
■260  1▼aAnn  Arbor  :▼bProQuest  Dissertations  &  Theses,  ▼c2023
■300    ▼a1  online  resource(94  p.)
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  84-12,  Section:  B.
■500    ▼aAdvisor:  Li,  Kai.
■5021  ▼aThesis  (Ph.D.)--Princeton  University,  2023.
■506    ▼aThis  item  must  not  be  sold  to  any  third  party  vendors.
■520    ▼aComplex  machine  learning  tasks  typically  require  large  neural  network  models.  However,  training  and  inference  on  neural  models  require  substantial  compute  power  and  large  memory  foot-prints,  and  incur  significant  costs.  My  thesis  studies  methods  to  make  neural  networks  efficient  at  a  relatively  low  cost.First,  we  explore  how  to  utilize  CPU  servers  for  training  and  inference.  CPU  servers  are  more  readily  available,  have  larger  memories,  and  cost  much  less  than  GPUs  or  hardware  accelerators.  However,  they  are  much  less  efficient  for  training  and  inference  tasks.  My  thesis  studies  how  to  design  efficient  software  kernels  for  sparse  neural  networks  that  allow  unstructured  pruning  to  achieve  efficiency  of  training  or  inference  .  Our  evaluation  shows  that  our  sparse  kernels  can  achieve  6.4x-20.0x  speedups  for  medium  sparsities  over  the  commonly  used  Intel  MKL  sparse  library  for  CPUs  and  greatly  reduce  the  performance  gap  with  those  for  GPUs.Second,  we  study  how  to  achieve  high-throughput  inference  for  large  models.  We  propose  PruMUX,  a  method  to  combine  data  multiplexing  with  model  compression.  We  find  that  in  most  cases,  PruMUX  can  achieve  better  throughput  than  using  each  approach  alone  for  a  given  accuracy  loss  budget.Third,  we  study  how  to  find  best  sets  of  parameters  for  PruMUX  in  order  to  make  it  practical.  We  propose  Auto-PruMUX,  which  uses  performance  modeling  based  on  a  set  of  data  points  to  predict  multiplexing  parameters  for  DataMUX  and  sparsity  parameters  for  a  given  model  compression  technique.  Our  evaluation  shows  that  Auto-PruMUX  can  successfully  find  or  predict  parameters  to  achieve  the  best  throughput  given  an  accuracy  loss  budget.This  dissertation  also  proposes  several  future  research  directions  in  the  areas  of  our  studies.
■590    ▼aSchool  code:  0181.
■650  4▼aComputer  science.
■650  4▼aComputer  engineering.
■653    ▼aNeural  network
■653    ▼aCompute  power
■653    ▼aHardware  accelerators
■653    ▼aMultiplexing  parameters
■653    ▼aModel  compression
■690    ▼a0984
■690    ▼a0464
■71020▼aPrinceton  University▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g84-12B.
■773    ▼tDissertation  Abstract  International
■790    ▼a0181
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T16932338▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.
■980    ▼a202402▼f2024