MARC

 008260126s2025        us                              c    eng  d
■001000017357124
■00520260202103135
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798311951364
■035    ▼a(MiAaPQ)AAI31974593
■035    ▼a(MiAaPQ)Stanfordcs793yc4618
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a330
■1001  ▼aFu,  Daniel  Y.
■24510▼aScheduling  and  Codesigning  Machine  Learning  Models  for  GEMMs
■260    ▼a[Sl]▼bStanford  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a194  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-12,  Section:  B.
■500    ▼aAdvisor:  Fatahalian,  Kayvon;Ré,  Chris.
■5021  ▼aThesis  (Ph.D.)--Stanford  University,  2025.
■520    ▼aLarge-scale  training  of  machine  learning  (ML)  models  on  hardware  accelerators  like  GPUs  has  led  to  substantial  progress  in  recent  years.  Of  critical  importance  is  achieving  high  FLOP  utilization  during  training.  However,  efficiently  scheduling  a  diverse  range  of  machine  learning  operators  onto  the  specialized  compute  cores  present  in  these  hardware  accelerators  remains  a  challenge.  For  example,  tensor  core  units,  which  are  specialized  to  only  compute  matrix-matrix  multiplication  (GEMMs),  compose  up  to  94%  of  the  available  FLOPs  on  Nvidia  H100  GPUs.  This  specialization  presents  a  challenge  for  modern  ML  models,  which  often  interleave  GEMMs  with  non-linearities  (e.g.,  exponentiation),  reduction  operations  (e.g.,  row-wise  average),  or  non-GEMM  operations  (e.g.,  FFT).This  thesis  investigates  how  to  schedule  and  codesign  core  machine  learning  operations  onto  specialized  GEMM  units,  with  a  focus  on  Nvidia  tensor  cores  (though  the  findings  have  been  generalized  to  other  hardware  accelerators).  We  present  two  case  studies  on  scheduling  two  core  ML  operations,  attention  and  state  space  models  (SSMs),  followed  by  a  study  on  codesigning  a  new  architecture,  Monarch  Mixer,  to  utilize  tensor  cores  from  the  ground-up.  First,  we  focus  on  scheduling  the  attention  operation,  the  core  primitive  at  the  heart  of  the  Transformer  architecture.  We  find  that  a  simple  algebraic  reformulation  of  the  softmax  operation  (combination  of  exponentiation  and  row-wise  reduction)  allows  a  tiling-based  algorithm  to  achieve  high  FLOP  utilization  onto  tensor  cores.  Second,  we  focus  on  SSMs,  a  promising  next-generation  architecture  with  better  asymptotic  complexity  than  Transformers.  SSMs  rely  on  a  non-GEMM  operation  at  their  core,  an  FFT  convolution.  We  show  that  an  alternate  algebraic  formulation  of  the  FFT,  called  a  Monarch  decomposition,  allows  the  FFT  convolution  to  be  rewritten  as  a  series  of  tensor  core  operations.  Finally,  we  conduct  a  study  on  codesigning  a  new  architecture,  Monarch  Mixer,  to  utilize  tensor  cores  from  the  ground-up.  We  show  that  a  generalized  Monarch  decomposition  allows  for  a  high-quality,  asymptotically-efficient,  and  GEMM-friendly  ML  architecture.  Overall,  this  thesis  demonstrates  that  algebraic  reformulation  of  ML  operations  is  a  powerful  tool  for  scheduling  diverse  ML  operations  onto  GEMMs.
■590    ▼aSchool  code:  0212.
■650  4▼aSparsity
■650  4▼aDecomposition
■650  4▼aBenchmarks
■650  4▼aComputer  science
■690    ▼a0984
■690    ▼a0800
■71020▼aStanford  University.
■7730  ▼tDissertations  Abstracts  International▼g86-12B.
■790    ▼a0212
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17357124▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서