MARC

 008260126s2025        us                              c    eng  d
■001000017359981
■00520260202105245
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798291569672
■035    ▼a(MiAaPQ)AAI32272042
■035    ▼a(MiAaPQ)umichrackham006341
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.3
■1001  ▼aJin,  Shuowei.
■24510▼aEfficiently  Scaling  Machine  Learning  Systems  Across  Heterogeneous  Resources
■260    ▼a[Sl]▼bUniversity  of  Michigan▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a116  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-03,  Section:  B.
■500    ▼aAdvisor:  Mao,  Z.  Morley.
■5021  ▼aThesis  (Ph.D.)--University  of  Michigan,  2025.
■520    ▼aThe  rapid  advancement  of  machine  learning  (ML),  particularly  deep  learning  and  Large  Language  Models  (LLMs),  has  revolutionized  numerous  domains.  This  progress  is  driven  by  scaling  laws,  indicating  that  larger  models  trained  on  more  data  with  more  compute  yield  better  performance.  However,  this  scaling  introduces  significant  challenges,  especially  during  inference,  due  to  massive  model  sizes  and  computational  demands.  Furthermore,  emerging  inference-time  scaling  laws,  where  allocating  more  compute  during  inference  boosts  performance,  add  another  layer  of  complexity.  Efficiently  scaling  ML  inference  systems  to  optimize  critical  metrics  like  latency  and  throughput  is  further  complicated  by  the  inherent  heterogeneity  of  computing  resources,  spanning  from  resource-constrained  edge  devices  to  diverse  hardware  within  datacenters.  Naive  scaling  approaches  often  lead  to  suboptimal  performance  and  resource  utilization  in  these  heterogeneous  environments.This  dissertation  argues  that  efficiently  scaling  ML  systems  across  heterogeneous  resources  requires  a  holistic  approach.  We  adopt  Algorithm-System  Co-design  as  the  central  methodology,  simultaneously  optimizing  ML  algorithms  and  the  underlying  system  components  (hardware,  software,  schedulers)  by  considering  their  intricate  interactions.  This  co-design  philosophy  allows  us  to  overcome  the  limitations  of  optimizing  algorithms  and  systems  in  isolation,  unlocking  significant  efficiency  gains.We  demonstrate  the  efficacy  of  this  approach  through  three  core  contributions.  First,  OASIS,  a  system  for  collaborative  neural-enhanced  mobile  video  streaming.  It  addresses  the  challenge  of  running  demanding  super-resolution  models  on  resource-constrained  mobile  devices  with  varying  network  conditions.  OASIS  co-designs  adaptive  bitrate/model  selection  algorithms  with  a  cross-device  collaborative  inference  mechanism,  enabling  multiple  nearby  devices  to  efficiently  share  computation  resources,  significantly  improving  video  Quality  of  Experience  (QoE)  and  reducing  energy  consumption.  Second,  Cake,  a  system  optimizing  Large  Language  Model  (LLM)  inference  latency,  specifically  targeting  the  Key-Value  (KV)  cache  generation  bottleneck  during  long-context  prefill.  It  tackles  the  compute  vs.  I/O  trade-off  in  heterogeneous  memory  systems  by  co-designing  a  bidirectional  parallel  scheduling  strategy  that  dynamically  balances  computing  the  KV  cache  on  GPUs  and  loading  it  from  storage,  substantially  reducing  Time-To-First-Token  (TTFT).  Third,  Plato,  a  semantic-aware  parallel  decoding  framework  for  LLMs  that  addresses  the  inefficiency  of  autoregressive  decoding  while  maintaining  answer  quality.  Plato  co-designs  algorithmic  components  (organizing  sub-problems  into  dependency  graphs  based  on  logical  relationships)  with  system  optimizations  (pipelined  execution  and  KV  cache  reuse).  Our  evaluations  show  that  Plato  improves  throughput  by  up  to  68%  over  autoregressive  decoding  while  maintaining  a  90%  quality  net-win  rate  compared  to  other  parallel  decoding  methods  like  Skeleton-of-Thought.Collectively,  these  contributions  illustrate  that  principled  algorithm-system  co-design  is  a  powerful  and  versatile  methodology  for  building  efficient  ML  inference  systems  that  can  effectively  scale  across  diverse  and  heterogeneous  resources,  optimizing  for  latency  and  throughput  from  the  edge  to  the  datacenter.
■590    ▼aSchool  code:  0127.
■650  4▼aComputer  engineering
■650  4▼aComputer  science
■653    ▼aMachine  learning  systems
■653    ▼aLarge  Language  Models
■653    ▼aEnergy  consumption
■690    ▼a0984
■690    ▼a0464
■690    ▼a0800
■71020▼aUniversity  of  Michigan▼bComputer  Science  &  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g87-03B.
■790    ▼a0127
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17359981▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books