MARC

 008260126s2025        us                              c    eng  d
■001000017358558
■00520260202104719
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798290938646
■035    ▼a(MiAaPQ)AAI32120934
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.3
■1001  ▼aJhunjhunwala,  Divyansh.
■24510▼aServer-Side  Algorithms  for  Communication-Efficient  Federated  Learning
■260    ▼a[Sl]▼bCarnegie  Mellon  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a333  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-02,  Section:  A.
■500    ▼aAdvisor:  Joshi,  Gauri.
■5021  ▼aThesis  (Ph.D.)--Carnegie  Mellon  University,  2025.
■520    ▼aRecent  reports  estimate  that  nearly  70%  of  daily  data  is  generated  on  personal  user  devices  such  as  smartphones  leading  to  increasingly  decentralized  data  collection  and  storage.  Federated  Learning  (FL)  is  a  framework  designed  to  train  machine  learning  models  on  decentralized  data  distributed  across  a  network  of  clients  under  the  coordination  of  a  central  server.  While  FL  enables  distributed  and  privacy-preserving  training,  a  major  bottleneck  arises  from  the  need  to  frequently  communicate  high-dimensional  model  updates  from  clients  to  the  server,  especially  given  the  limited  upload  bandwidth  on  most  devices.  Additionally,  data  on  each  client  is  typically  generated  independently,  resulting  in  non-IID  (non-identically  distributed)  data  distributions  which  can  significantly  slow  FL  convergence  and  exacerbate  communication  inefficiency.Prior  work  in  FL  has  largely  focused  on  sophisticated  client-side  optimizations  to  address  this  challenge.  For  example,  to  reduce  the  size  of  updates  sent  by  clients,  popular  solutions  include  biased  compressors  with  error  feedback,  complex  quantization  schemes,  and  knowledge  distillation  -  most  of  which  either  increase  computation  on  resource-constrained  clients  and/or  require  clients  to  maintain  state.  Similarly,  to  handle  data  heterogeneity,  common  approaches  include  regularizing  local  objectives,  incorporating  control  variates,  or  using  contrastive  losses,  all  of  which  add  overhead  on  the  client  side.  In  contrast,  our  work  focuses  on  addressing  these  challenges  through  server-side  optimization  algorithms,  which  leave  local  training  untouched  and  instead  modify  the  aggregation  strategy  at  the  server.  As  discussed  in  this  thesis,  there  is  often  additional  structure  across  client  updates  that  can  be  exploited  to  improve  aggregation.  We  also  uncover  connections  between  the  standard  FL  algorithm  FedAvg  and  classical  optimization  methods,  which  motivate  our  proposed  techniques.  Our  methods  not  only  achieve  better  performance  than  prior  client-focused  approaches  but  are  also  versatile  enough  to  integrate  with  existing  techniques,  enhancing  the  efficiency  and  applicability  of  FL.The  thesis  is  divided  into  3  parts.  In  part  1)  we  discuss  server  algorithms  to  tackle  the  challenge  of  compression  in  FL  by  leveraging  ideas  based  on  adaptive  quantization,  spatial  correlation  and  temporal  correlation.  In  part  2)  we  discuss  server  algorithms  to  deal  with  the  challenge  of  heterogeneous  client  updates  by  adaptively  tuning  the  server  step-size  and  leveraging  Fisher  information.  Finally,  in  part  3)  we  revisit  FedAvg  in  the  context  of  pre-trained  models  and  outline  a  server  algorithm  to  improve  aggregation  for  federated  LoRA  fine-tuning  by  decomposing  client  updates  into  common  and  client-specific  components.  Together,  these  advances  provide  a  lightweight  yet  powerful  framework  for  scalable,  communication-efficient,  and  heterogeneity-aware  FL.
■590    ▼aSchool  code:  0041.
■650  4▼aElectrical  engineering
■650  4▼aInformation  technology
■650  4▼aCommunication
■653    ▼aAlgorithms
■653    ▼aCompression
■653    ▼aFederated  learning
■653    ▼aHeterogeneity
■653    ▼aPre-trained  models
■690    ▼a0800
■690    ▼a0544
■690    ▼a0489
■690    ▼a0459
■71020▼aCarnegie  Mellon  University▼bElectrical  and  Computer  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g87-02A.
■790    ▼a0041
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17358558▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books