MARC

 008260126s2025        us                              c    eng  d
■001000017360469
■00520260202105531
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798263342708
■035    ▼a(MiAaPQ)AAI32309849
■035    ▼a(MiAaPQ)GeorgiaTech77871
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a005.8
■1001  ▼aZhou,  Tian-Yi.
■24510▼aStatistical  Learning  Theory  of  Deep  Neural  Networks:  A  Generalization  Viewpoint
■260    ▼a[Sl]▼bGeorgia  Institute  of  Technology▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a268  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Huo,  Xiaoming.
■5021  ▼aThesis  (Ph.D.)--Georgia  Institute  of  Technology,  2025.
■520    ▼aNeural  networks  are  computing  systems  with  powerful  applications  in  many  disciplines,  e.g.,data  analysis  and  pattern  and  sequence  recognition.  In  particular,  deep  neural  networks  with  welldesigned  structures,  numerous  trainable  parameters,  and  massive-scale  input  data  have  outstandingperformances  in  function  approximation  [1,  2],  classification  [3,  4],  regression  [5],  and  featureextraction  [6].  But  beneath  their  advertised  success,  deep  neural  networks  are  brittle,  black-boxsystems  sensitive  to  observation  errors  and  changes  in  data  distribution.  In  everyday  life,  failuresof  deep  learning  systems  can  be  a  nuisance:  perhaps  Siri  misinterprets  your  question,  or  GoogleMaps  underestimates  the  time  you  spend  in  traffic.  However,  these  failures  can  jeopardize  humanlives  and  infrastructure  in  critical  applications  like  healthcare  and  cybersecurity.  To  ensure  trusted,robust  deployment  of  deep  learning,  we  must  characterize  these  failure  modes  by  developing  anunderstanding  of  model  generalization  and  performance  in  realistic  settings.This  thesis  contributes  to  the  mathematical  foundation  of  deep  learning  by  establishing  statistical  guarantees  on  the  efficiency  of  deep  neural  networks  in  regression  and  classification  tasks.Specifically,  it  establishes  theoretical  guarantees  as  to  when  and  how  deep  neural  networks  generalize  unseen  data  well  for  these  tasks.  Our  results  rely  on  explicit  constructions  of  neural  networks,leading  to  fast  convergence  rates  of  excess  risks,  in  that  tools  from  approximation  theory  and  statistical  learning  theory  are  adopted.Chapter  1:  Learning  Ability  of  Interpolating  Deep  Convolutional  Neural  Networks  The  firstchapter  of  this  thesis  studies  an  important  family  of  neural  networks  known  as  convolutional  neuralnetworks  (CNNs).  Given  that  neural  networks,  in  general,  are  powerful  and  versatile,  researchershave  been  working  to  improve  their  computational  efficiency  further.  When  the  data  dimension  islarge,  such  as  the  AlexNet  [3]  of  input  dimension  about  150,  000,  fully-connected  neural  networksare  not  feasible.  Structures  are  often  imposed  on  neural  networks  to  reduce  the  number  of  trainablefree  parameters  and  get  feasible  deep  learning  algorithms  for  various  practical  tasks  [7].  The  structure  we  are  interested  in  is  induced  by  1-D  convolution,  and  the  resulting  networks  are  deepconvolutional  neural  networks  [8].  The  convolutional  structure  of  CNN  reduces  the  computationalcomplexity  and  is  believed  to  capture  local  shift-invariance  properties  of  image  and  speech  data.Such  features  of  CNNs  contribute  to  their  massive  popularity  in  image  processing  and  speechrecognition.It  is  frequently  observed  that  overparameterized  neural  networks  generalize  well  while  achieving  zero  training  error  [9].  This  phenomenon,  known  as  benign  overfitting,  seems  to  confrontthe  classical  bias-variance  trade-off  in  statistical  theory.  Such  a  mismatch  between  observationsand  classical  theory  sparked  avid  research  attempting  to  understand  how  benign  overfitting  occurs.Theoretical  work  studying  benign  overfitting  was  initiated  in  [10],  where  a  linear  regression  settingwith  Gaussian  data  and  noise  was  considered.  It  presented  conditions  for  minimum-norm  interpolators  to  generalize  well.  In  a  non-linear  setting  induced  by  the  ReLU  activation  function,  benignoverfitting  is  previously  verified  for  fully-connected  networks  in  [11].  On  top  of  that,  a  recentwork  [12]  shows  that  training  shallow  neural  networks  with  shared  weights  by  gradient  descentcan  achieve  an  arbitrarily  small  training  error.Our  work  studies  the  learning  rate  (generalization  performance)  of  CNNs  under  underparameterized  and  overparameterized  settings,  respectively.  We  use  the  term  learning  rates  to  refer  tothe  rates  of  convergence  of  the  output  function  to  the  regression  function.  We  study  the  benignoverfitting  problem  in  a  regression  setting.  Our  goal  is  to  show  that,  for  any  input  data,  there  always  exist  some  CNNs  that  generalize  well  (achieve  a  sufficient  fast  learning  rate)  and,  at  the  sametime,  perfectly  fit  the  data.  In  other  words,  we  intend  to  verify  the  possible  occurrence  of  benignoverfitting  among  deep  CNNs.  This  work  is  published  in  Applied  and  Computational  HarmonicAnalysis,  2024.Chapter  2:  Classification  of  Unbounded  Data  by  Gaussian  Mixture  Models  via  deep  ReLUNetworks  The  second  chapter  of  this  thesis  studies  the  binary  classification  of  unbounded  datagenerated  by  a  mixture  of  Gaussian  distributions  using  neural  networks.  With  input  X  ∈  Rdand  output  label  Y  ∈  {−1,  1},  we  are  interested  in  learning  a  binary  classifier  f  :  Rd  →  {−1,  1}.We  assume  our  data  in  R  dfollows  a  class  of  distribution  largely  used  to  model  real-world  data,namely  the  Gaussian  Mixture  Model  (GMM).  According  to  [13,  Chapter  3],  a  GMM  is  a  universalapproximator  of  densities.  On  top  of  that,  many  studies  have  shown  that  GMM  is  an  effectivemodel  for  audio,  speech,  image,  and  text  processing,  e.g.,  see  [14,  15,  16].  The  universality  ofGMM  motivates  us  to  study  the  classification  problem  under  such  distributional  assumptions  ondata.
■590    ▼aSchool  code:  0078.
■650  4▼aCybersecurity
■650  4▼aDeep  learning
■650  4▼aVoice  recognition
■650  4▼aNeural  networks
■650  4▼aComputer  science
■690    ▼a0800
■690    ▼a0984
■71020▼aGeorgia  Institute  of  Technology.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0078
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17360469▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서