MARC

 008260203s2023        us                              c    eng  d
■001000017365854
■00520260209102839
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798314843642
■035    ▼a(MiAaPQ)AAI32063794
■035    ▼a(MiAaPQ)httphdlhandlenet2142120125
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aHegde,  Kartik.
■24510▼aAccelerating  Deep  Learning  in  the  Post-Moore's  Era  of  Computing
■260    ▼a[Sl]▼bUniversity  of  Illinois  at  Urbana-Champaign▼c2023
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2023
■300    ▼a152  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-11,  Section:  B.
■500    ▼aAdvisor:  Fletcher,  Christopher  W.
■5021  ▼aThesis  (Ph.D.)--University  of  Illinois  at  Urbana-Champaign,  2023.
■520    ▼aRapid  growth  in  the  availability  of  cheap  and  fast  computing  power-made  possible  by  Moore's  scaling-has  been  a  major  tailwind  behind  the  rise  of  modern  deep  learning.  However,  over  the  last  decade,  the  performance  deficit  between  compute  requirements  of  deep  learning  workloads  and  the  peak  compute  capability  offered  by  modern  processors  has  been  rapidly  increasing  due  to  two  opposing  trends.  On  the  one  hand,  improving  the  accuracy  of  deep  learning  models  requires  larger  models  and  datasets,  which  in  turn  requires  more  compute  resources.  On  the  other  hand,  Moore's  scaling  has  been  slowing  down,  leading  to  a  slowdown  in  the  rate  of  increase  in  peak  compute  throughput.  While  specialization  has  been  seen  as  a  way  to  address  the  increasing  performance  deficit,  there  is  mounting  evidence  that  specialization  has  only  afforded  us  a  "one-time"  boost  in  performance.  To  make  matters  worse,  the  increasing  gap  between  logic  and  memory,  often  called  the  memory  wall,  makes  it  harder  to  utilize  all  the  compute  on-chip,  let  alone  add  more.  Therefore,  the  key  question  facing  deep  learning  architects  is,  how  do  we  continue  to  accelerate  deep  learning  workloads  in  the  post-Moore's  era  of  computing?This  thesis  presents  a  set  of  techniques  to  accelerate  deep  learning  workloads  without  scaling  the  number  of  transistors  on-chip.  At  a  high  level,  we  classify  them  into  two  thrusts.  First,  techniques  that  reduce  the  total  compute  required  for  deep  learning  workloads  without  sacrificing  accuracy  and  utilize  that  to  improve  performance.  Second,  techniques  that  increase  the  compute-per-transistor  by  improving  the  resource  utilization  of  deep  learning  accelerators.  Notably,  we  show  that  the  proposed  techniques  are  not  "zero-sum",  i.e.,  the  gained  performance  comes  at  negligible  area/power  overheads.  We  begin  by  describing  a  baseline  deep  learning  accelerator  (DLA)  tailored  for  deep  learning  workloads  and  represents  state-of-the-art  deep  learning  accelerators.  We  then  describe  concrete  ways  to  evolve  the  baseline  architecture  to  incorporate  our  proposed  techniques.  Finally,  we  provide  a  detailed  analysis  of  the  area  overheads  of  the  proposed  techniques  and  demonstrate  that  they  are  minimal  while  the  performance  gains  are  significant.Overall,  this  thesis  throws  light  on  different  directions  that  computer  architects  can  take  to  continue  to  accelerate  deep  learning  workloads  without  scaling  the  number  of  transistors  on-chip.  We  believe  that  expanding  the  scope  of  specialization  beyond  hardware  to  include  other  layers  of  the  deep  learning  stack  and  careful  co-design  will  enable  us  to  continue  to  accelerate  deep  learning  workloads  in  the  post-Moore's  era  of  computing.
■590    ▼aSchool  code:  0090.
■650  4▼aComputer  science
■650  4▼aEngineering
■650  4▼aInformation  technology
■653    ▼aDeep  learning
■653    ▼aComputer  architecture
■653    ▼aMoore's  law
■653    ▼aSpecialized  accelerators
■653    ▼aDeep  neural  networks
■653    ▼aProgrammable  accelerators
■690    ▼a0984
■690    ▼a0489
■690    ▼a0800
■690    ▼a0537
■71020▼aUniversity  of  Illinois  at  Urbana-Champaign▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g86-11B.
■790    ▼a0090
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17365854▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서