MARC

 008260126s2024        us                              c    eng  d
■001000017361048
■00520260202105657
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798263307202
■035    ▼a(MiAaPQ)AAI32409799
■035    ▼a(MiAaPQ)124371
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aWang,  Yite.
■24513▼aAn  Exploration  of  Advancing  Efficiency  in  Learning-Based  Systems
■260    ▼a[Sl]▼bUniversity  of  Illinois  at  Urbana-Champaign▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a150  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Hovakimyan,  Naira.
■5021  ▼aThesis  (Ph.D.)--University  of  Illinois  at  Urbana-Champaign,  2024.
■520    ▼aOver  the  past  decade,  learning-based  systems  like  deep  neural  networks  (DNNs)  have  demonstrated  remarkable  success  across  a  range  of  applications,  such  as  machine  vision,  natural  language  processing,  computational  physics,  and  robotics.  However,  these  modern  DNNs  often  have  a  large  number  of  parameters,  leading  to  high  computational  demands  in  both  training  and  deployment.  This  issue  is  particularly  acute  in  the  context  of  large-scale  models  like  the  generative  pretrained  transformer,  e.g.,  GPT-3,  where  training  expenses  can  cost  millions  of  dollars.  Moreover,  the  deployment  of  these  models  in  resource-constrained  environments,  such  as  mobile  robotics,  drones,  and  intelligent  driving  systems,  further  exacerbates  the  challenge,  hindering  the  full  exploitation  of  DNNs'  potential.                        In  my  Ph.D.  research,  I  have  dedicated  my  efforts  to  addressing  these  computational  burdens,  focusing  on  both  the  training  and  inference  stages.                          From  large  to  small.  The  initial  part  of  my  work  focuses  on  developing  more  efficient  neural  networks  through  neural  architecture  search  (NAS)  and  pruning,  tailored  to  various  optimization  problems.  We  start  with  the  application  for  classical  minimization  problems,  leveraging  the  Neural  Tangent  Kernel  (NTK)  theory  in  Chapter  3  to  introduce  a  novel  pruning-at-initialization  method  tailored  for  image  classification  tasks,  thereby  optimizing  computational  efficiency.  Progressing  to  bi-level  optimization  problem,  i.e.,  meta-learning  ('learning  to  learn'),  in  chapter  4,  we  explore  NAS  to  automate  the  process  of  finding  efficient  neural  network  architecture,  based  on  the  theoretical  insights  provided  by  the  NTK  theory.    Finally,  we  study  the  min-max  problem  associated  with  generative  adversarial  neural  networks  (GANs)  in  chapter  5.  We  investigate  pruning-during-training  method  to  reduce  both  training  and  inference  costs  of  sparse  GANs.                        From  small  to  large.  The  latter  part  of  my  research  focuses  on  transferring  knowledge  from  small  networks  to  larger  networks  for  efficient  training.    In  chapter  6,  we  present  a  novel  approach  to  initialize  large  neural  networks  by  leveraging  pre-trained  smaller  networks,  thereby  substantially  reducing  the  computational  demands  of  the  training  process.                        The  effectiveness  of  these  methodologies  is  empirically  demonstrated  across  a  spectrum  of  applications.  Our  proposed  methods  have  shown  remarkable  performance  in  tasks  such  as  image  generation,  classification,  and  language  understanding,  setting  new  benchmarks  for  computational  efficiency.  Overall,  this  body  of  work  not  only  contributes  to  the  practicality  and  sustainability  of  DNNs  in  resource-constrained  scenarios  but  also  hopes  to  inspire  future  advancements  in  the  field,  paving  the  way  for  more  efficient  and  accessible  learning-based  systems.
■590    ▼aSchool  code:  0090.
■650  4▼aComputer  science
■650  4▼aMechanical  engineering
■650  4▼aComputer  engineering
■653    ▼aEfficient  learning
■653    ▼aOptimization
■653    ▼aStatistical  learning
■653    ▼aLearning-based  system
■653    ▼aData  science
■653    ▼aDeep  learning
■690    ▼a0548
■690    ▼a0984
■690    ▼a0800
■690    ▼a0464
■71020▼aUniversity  of  Illinois  at  Urbana-Champaign▼bMechanical  Sci  &  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0090
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17361048▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books