008240612s2023      us  |||||||||||||||c||eng  d
■001000016931710
■00520240214100107
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798379711733
■035    ▼a(MiAaPQ)AAI30419542
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.3
■1001  ▼aZhang,  Yanqi.▼0(orcid)0000-0003-0130-1502
■24510▼aEfficient  Resource  Management  of  Cloud  Native  Systems▼h[electronic  resource]
■260    ▼a[S.l.]:▼bCornell  University.  ▼c2023
■260  1▼aAnn  Arbor  :▼bProQuest  Dissertations  &  Theses,  ▼c2023
■300    ▼a1  online  resource(159  p.)
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  84-12,  Section:  A.
■500    ▼aAdvisor:  Delimitrou,  Christina.
■5021  ▼aThesis  (Ph.D.)--Cornell  University,  2023.
■506    ▼aThis  item  must  not  be  sold  to  any  third  party  vendors.
■520    ▼aCloud  native  architecture  has  been  a  prevailing  trend  and  is  widely  adopted  by  major  online  service  providers  including  Netflix,  Uber  and  WeChat.  It  enables  applications  to  be  structured  as  loosely-coupled  distributed  systems  that  can  be  developed  and  managed  independently,  and  provide  different  programming  models,  namely  microservice  and  serverless,  to  accommodate  different  user  requirements.  Specifically,  microservices  are  a  group  of  small  services  that  collectively  perform  as  a  complete  application.  Each  microservice  implements  a  web  server  that  handles  specific  business  logic,  and  is  usually  packaged  in  a  container  that  encapsulates  its  own  runtime  and  dependencies.  Microservice  containers  typically  live  for  a  long  time  and  scale  up  or  down  to  cope  with  load  fluctuations  as  per  user-specified  policies.  Serverless  provides  a  further  simplified  approach  to  application  development  and  deployment.  It  allows  users  to  upload  their  application  code  as  functions,  without  the  need  for  explicit  provisioning  or  management  of  containers,  through  an  event-driven  interface.  Serverless  containers  are  typically  short-living  'one-off'  containers  handling  a  single  request  at  a  time.  The  billing  of  serverless  is  fine-grained  and  users  only  pay  for  the  resources  consumed  by  actual  function  execution. Despite  the  popularity  of  cloud  native  systems,  managing  their  resources  efficiently  is  challenging.  Cloud  native  applications  consist  of  many  component  services  with  diverse  resource  requirements,  posing  a  greater  challenge  compared  to  traditional  monolithic  applications.  Furthermore,  the  backpressure  effect  caused  by  inter-service  connections  also  complicates  resource  management.  Lastly,  although  cloud-native  relives  users  from  the  burden  of  infrastructure  management,  cloud  providers  still  need  to  provision  and  pay  for  the  infrastructure  to  host  cloud  native  applications,  which  incurs  high  cost.This  dissertation  aims  to  tackle  the  challenge  of  efficient  resource  management  for  cloud-native  systems  and  proposes  three  resource  managers.  First,  we  present  Sinan,  a  machine  learning  (ML)-driven  and  service  level  agreement  (SLA)-aware  resource  manager  for  microservices.  Sinan  uses  a  set  of  validated  ML  models  to  learn  the  per-service  resource  requirements  ,  taking  into  account  the  effects  of  inter-service  dependencies.  Sinan's  ML  models  predict  the  end-to-end  latency  of  a  given  resource  allocation,  and  the  resource  manager  then  chooses  the  optimal  resource  allocation  that  preserves  the  SLAs,  based  on  the  predictions.  Sinan  highlights  the  importance  of  a  balanced  training  dataset  that  includes  an  equal  share  of  SLA  violations  and  satisfactions,  for  the  effectiveness  of  ML  models.  Additionally,  Sinan  demonstrates  that  the  system  is  flawed  if  the  training  dataset  is  dominated  by  either  SLA  satisfaction  or  violation.  In  order  to  obtain  a  balanced  training  dataset,  Sinan  explores  different  resource  allocations  with  an  algorithm  inspired  by  multi-arm  bandit  (MAP).Although  Sinan  outperforms  traditional  approaches  such  as  autoscaling,  it  requires  a  lengthy  exploration  process  and  triggers  a  large  number  of  SLA  violations,  hindering  its  practicality.  Furthermore,  the  ML  models  are  on  the  critical  path  of  resource  management  decisions,  limiting  the  speed  and  scalability  of  the  system.  To  address  these  limitations,  we  further  propose  Ursa,  a  lightweight  and  scalable  resource  management  framework  for  microservices.  By  investigating  the  backpressure-free  conditions,  Ursa  allocates  resources  within  the  space  that  each  service  can  be  considered  independent  for  the  purpose  of  resource  allocation.  Ursa  then  uses  an  analytical  model  that  decomposes  the  end-to-end  latency  into  per-service  latency,  and  maps  per-service  latency  to  individually  checkable  resource  allocation  threshold.  To  speed  up  the  exploration  process,  Ursa  explores  as  many  independent  microservices  as  possible  across  different  request  paths,  and  swiftly  stops  exploration  in  case  of  SLA  violations. Finally,  in  order  to  reduce  the  infrastructure  provisioning  cost  of  cloud-native  systems,  we  propose  to  leverage  harvested  resources  in  datacenter,  which  cloud  providers  provide  at  a  massive  discount.  Orthogonal  to  the  first  two  parts  of  the  thesis  which  aim  to  reduce  operation  cost  by  providing  the  minimum  amount  of  resources  that  do  not  compromise  performance,  this  part  aims  to  achieve  cost  reduction  by  using  cheaper  but  less  reliable  resources.  We  use  serverless  as  the  target  workload,  and  propose  to  run  serverless  platforms  on  low-priority  Harvest  VMs  that  grow  and  shrink  to  harvest  all  the  unallocated  CPU  cores  in  their  host  servers.  We  quantify  the  challenges  of  running  serverless  on  harvest  VMs  by  characterizing  the  serverless  workloads  and  Harvest  VMs  in  production.  We  propose  a  series  of  policies  that  uses  a  mix  of  Harvest  and  regular  VMs  with  different  tradeoffs  between  reliability  and  efficiency,  and  design  a  serverless  load  balancer  that  is  aware  of  VM  evictions  and  resource  variations  in  Harvest  VMs.  Our  results  show  that  adopting  harvested  resources  improves  efficiency  and  reduces  cost  significantly,  and  request  failure  rate  caused  by  Harvest  VM  evictions  is  marginal.
■590    ▼aSchool  code:  0058.
■650  4▼aComputer  engineering.
■650  4▼aComputer  science.
■650  4▼aWeb  studies.
■650  4▼aInformation  technology.
■653    ▼aService  level  agreement
■653    ▼aMachine  learning
■653    ▼aCloud  native  systems
■653    ▼aCloud  native  architecture
■653    ▼aSinan
■690    ▼a0464
■690    ▼a0984
■690    ▼a0489
■690    ▼a0646
■690    ▼a0800
■71020▼aCornell  University▼bElectrical  and  Computer  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g84-12A.
■773    ▼tDissertation  Abstract  International
■790    ▼a0058
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T16931710▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.
■980    ▼a202402▼f2024