008240612s2023      us  |||||||||||||||c||eng  d
■001000016933411
■00520240214101243
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798380314299
■035    ▼a(MiAaPQ)AAI30528911
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.3
■1001  ▼aSalgia,  Sudeep.▼0(orcid)0000-0003-1361-4565
■24510▼aStochastic  Optimization  and  Learning:  An  Adaptive  and  Resource-Efficient  Approach▼h[electronic  resource]
■260    ▼a[S.l.]:▼bCornell  University.  ▼c2023
■260  1▼aAnn  Arbor  :▼bProQuest  Dissertations  &  Theses,  ▼c2023
■300    ▼a1  online  resource(502  p.)
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  85-03,  Section:  B.
■500    ▼aAdvisor:  Zhao,  Qing.
■5021  ▼aThesis  (Ph.D.)--Cornell  University,  2023.
■506    ▼aThis  item  must  not  be  sold  to  any  third  party  vendors.
■520    ▼aThis  dissertation  focuses  on  stochastic  optimization  and  learning  where  the  underlying  probabilistic  models  are  unknown  and  the  decision  maker  optimizes  their  actions  over  time  through  sequential  interactions  with  the  unknown  environment.The  first  part  of  this  dissertation  is  on  stochastic  optimization  where  the  learner  aims  at  optimizing  an  unknown  random  loss  function  in  expectation  ---  the  fundamental  building  block  of  training  any  machine  learning  model  today.  In  the  centralized  setting,  we  study  three  different  classes  of  stochastic  optimization  problems,  categorized  based  on  the  structural  assumptions  of  the  unknown  function.  For  stochastic  convex  optimization,  we  propose  the  first  extension  of  the  coordinate  minimization  (CM)  approach  to  stochastic  optimization.  The  proposed  approach  provides  a  universal  framework  for  extending  low-dimensional  optimization  routines  to  high-dimensional  problems  and  inherits  the  scalability  and  parallelizability  properties  of  CM.  For  kernel-based  optimization,  we  propose  the  first  algorithm  with  order-optimal  regret  guarantees  thereby  closing  the  existing  gap  between  upper  and  lower  bounds.  Thirdly,  for  neural  net  based  optimization  for  contextual  bandits,  we  explore  the  setting  where  neural  nets  are  equipped  with  a  smooth  activation  function,  in  contrast  to  the  existing  work  which  primarily  focuses  on  ReLU  neural  nets.  In  the  second  part  of  this  dissertation,  we  focus  on  challenges  unique  to  distributed  stochastic  optimization.  For  the  problem  of  distributed  linear  bandits,  we  investigate  the  regret-communication  trade-off  by  establishing  the  information-theoretic  lower  bounds  on  the  required  communications  (in  terms  of  bits)  for  achieving  a  sublinear  regret  order.  We  also  develop  an  efficient  algorithm  that  is  the  first  to  achieve  both  order-optimal  regret  and  optimal  order  of  communication  cost  (in  bits).  We  also  extend  our  algorithm  for  stochastic  convex  optimization  where  it  continues  to  enjoy  order-optimal  regret  and  communication  performance.  Secondly,  we  study  the  impact  of  statistical  heterogeneity  among  clients  in  a  distributed  kernel-based  bandit  framework.  We  adopt  a  personalization  approach  to  tackle  the  heterogeneity  among  users  propose  an  algorithm  that  achieves  order-optimal  regret  through  a  novel  design  that  carefully  balances  personalized  exploration  with  collaborative  exploration.The  third  part  of  the  dissertation  focuses  on  problems  arising  in  Active  Learning  and  Active  Hypothesis  Testing.  For  the  problem  of  online  active  learning  for  classifying  streaming  instances,  we  develop  a  disagreement-based  learning  algorithm  for  a  general  hypothesis  space  and  noise  model  that  incurs  a  bounded  regret  and  has  an  order-optimal  label  complexity.  We  also  study  the  problem  of  noisy  group  testing  under  unknown  noise  models,  which  is  contrast  to  the  existing  studies  that  assume  perfect  knowledge  of  probabilistic  model  of  the  noise.  We  propose  a  novel  algorithm  that  is  agnostic  to  the  noise  distribution  and  offers  a  sample  complexity  that  adapts  to  the  noise  level  and  is  order-optimal  in  both  the  population  size  and  the  error  rate.  In  the  last  chapter,  we  consider  the  problem  of  uniformity  testing  of  Lipschitz  continuous  distributions  with  bounded  support.  We  propose  a  sequential  test  that  offers  adaptivity  to  the  unknown  $\\ell_1$  distance  to  the  uniform  distribution,  allowing  quicker  identification  of  more  anomalous  (non-uniform)  distributions.
■590    ▼aSchool  code:  0058.
■650  4▼aElectrical  engineering.
■650  4▼aComputer  science.
■650  4▼aStatistics.
■653    ▼aAdaptive  group
■653    ▼aBandits
■653    ▼aCommunication  efficient  algorithms
■653    ▼aComputationally  efficient  algorithm
■653    ▼aMachine  learning
■653    ▼aStochastic  optimization
■690    ▼a0544
■690    ▼a0984
■690    ▼a0463
■71020▼aCornell  University▼bElectrical  and  Computer  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g85-03B.
■773    ▼tDissertation  Abstract  International
■790    ▼a0058
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T16933411▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.
■980    ▼a202402▼f2024