MARC

 008260126s2025        us                              c    eng  d
■001000017357130
■00520260202103136
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798311957526
■035    ▼a(MiAaPQ)AAI31974610
■035    ▼a(MiAaPQ)Stanfordhh827kx2104
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.31
■1001  ▼aYang,  Jae  Hyun.
■24510▼aFast  and  Scalable  Solvers  for  Penalized  Regression  with  Sparsity
■260    ▼a[Sl]▼bStanford  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a129  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-12,  Section:  B.
■500    ▼aAdvisor:  Hastie,  Trevor.
■5021  ▼aThesis  (Ph.D.)--Stanford  University,  2025.
■520    ▼aIn  the  last  few  decades,  the  landscape  of  machine  learning  changed  drastically  with  the  exponential  growth  of  data  in  both  the  number  of  samples  n  and  features  p.  Most  regression  models  -  the  prototypical  one  being  ordinary  least  squares  (OLS)  -  favor  the  increase  in  n  as  they  tend  to  generalize  better.  Moreover,  the  computational  cost  of  large  n  can  be  easily  ameliorated  via  distributed  computing.  However,  as  p  grows,  they  typically  suffer  from  overfitting,  large  memory  consumptions,  and  increased  computational  complexity.  The  standard  approach  to  tackle  the  overfitting  issue  is  regularization.  Many  different  regularizations  exist  today  and  some  notable  ones  include  the  ridge,  lasso  [Friedman  et  al.,  2010],  elastic  net  [Zou  and  Hastie,  2005],  and  group  lasso  [Yuan  and  Lin,  2006].  The  ridge  adds  the  ℓ2penalty  ∥β22  to  the  regression  objective  while  the  lasso  adds  the  ℓ1penalty  ∥β∥1.  The  ridge  solution  typically  remains  dense,  however,  the  lasso  often  enjoys  sparsity  in  the  solution  due  to  the  soft-thresholding  property.  For  this  reason,  the  lasso  has  gained  wide  popularity  in  high-dimensional  regression  settings  where  p  can  be  extremely  large  (sometimes  on  the  order  of  millions)  as  the  state-of-the-art  solvers  bypass  the  aforementioned  computational  challenges  by  leveraging  this  sparsity  property.  The  elastic  net  is  a  convex  combination  of  the  ridge  and  the  lasso,  allowing  for  a  more  flexible  model.  The  group  lasso  adds  the  (sum  of)  ℓ2-norm  penalties  PG  g=1  ∥βg∥2  where  groups  of  coefficients  βg  are  separately  penalized.  This  model  tends  to  have  group-wise  sparse  solutions  (but  typically  dense  within  each  non-zero  group  of  coefficients).While  the  ridge,  lasso,  and  elastic  net  have  been  studied  carefully  both  theoretically  and  empirically,  the  same  cannot  be  said  about  the  group  lasso.  We  believe  a  large  reason  for  this  phenomenon  is  the  inexistence  of  a  gold-standard  package  like  glmnet  [Friedman  et  al.,  2010]  for  solving  the  group  lasso.  In  Chapter  2,  we  propose  a  novel  algorithm  to  solve  the  group  lasso  extremely  efficiently  and  provide  an  industry-grade  package,  adelie,  available  in  both  Python  and  R.  Our  main  contribution  lies  in  solving  the  block  update  in  the  block-coordinate  descent  algorithm,  which  achieves  a  quadratic  rate  of  convergence.  Moreover,  we  solve  the  group  lasso  problem  in  full  generality,  making  no  assumptions  about  the  structure  of  the  feature  matrix  Xt  hat  other  solvers  impose.  Many  of  the  tricks  employed  in  glmnet  are  naturally  carried  over  to  our  solver  such  as  warm-starts,  active  set  strategy,  and  extensions  to  general  convex  losses  via  the  proximal  quasi-Newton  method.  In  Chapter  3,  we  propose  a  heuristic  called  the  pivot  rule  for  discarding  features  in  our  algorithm.  We  often  observe  extremely  fast  convergence  with  the  pivot  rule  especially  when  p  is  large,  comparable  to  the  state-of-the-art  strong  rule  and  significantly  faster  when  there  exists  high  pairwise  correlation  in  the  features.  The  pivot  rule  is  largely  motivated  by  the  strong  rule  and  only  uses  the  KKT  conditions  to  derive  a  robust  ranking  system  of  the  features  to  guess  the  next  active  features.  We  use  a  simple  change-point  detection  algorithm  via  OLS  to  automatically  make  our  selection.
■590    ▼aSchool  code:  0212.
■650  4▼aElectricity
■650  4▼aVisualization
■650  4▼aComputer  science
■690    ▼a0984
■71020▼aStanford  University.
■7730  ▼tDissertations  Abstracts  International▼g86-12B.
■790    ▼a0212
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17357130▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books