MARC

 008250123s2024        us                              c    eng  d
■001000017164296
■00520250211152944
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798342144438
■035    ▼a(MiAaPQ)AAI31606839
■035    ▼a(MiAaPQ)Purdue26342761
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a006.7
■1001  ▼aSoufleri,  Efstathia.
■24510▼aPrivacy  Preserving  and  Efficient  Machine  Learning  Algorithms
■260    ▼a[Sl]▼bPurdue  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a126  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-04,  Section:  B.
■500    ▼aAdvisor:  Roy,  Kaushik.
■5021  ▼aThesis  (Ph.D.)--Purdue  University,  2024.
■520    ▼aExtensive  data  availability  has  catalyzed  the  expansion  of  deep  learning.  Such  advancements  include  image  classification,  speech,  and  natural  language  processing.  However,  this  data-driven  progress  is  often  hindered  by  privacy  restrictions  preventing  the  public  release  of  specific  datasets.  For  example,  some  vision  datasets  cannot  be  shared  due  to  privacy  regulations,  particularly  those  containing  images  depicting  visually  sensitive  or  disturbing  content.  At  the  same  time,  it  is  imperative  to  deploy  deep  learning  efficiently,  specifically  Deep  Neural  Networks  (DNNs),  which  are  the  core  of  deep  learning.  In  this  dissertation,  we  focus  on  achieving  efficiency  by  reducing  the  computational  cost  of  DNNs  in  multiple  ways.This  thesis  first  tackles  the  privacy  concerns  arising  from  deep  learning.  It  introduces  a  novel  methodology  that  synthesizes  and  releases  synthetic  data,  instead  of  private  data.  Specifically,  we  propose  Differentially  Private  Image  Synthesis  (DP-ImgSyn)  for  generating  and  releasing  synthetic  images  used  for  image  classification  tasks.  These  synthetic  images  satisfy  the  following  three  properties:  (1)  they  have  DP  guarantees,  (2)  they  preserve  the  utility  of  private  images,  ensuring  that  models  trained  using  synthetic  images  result  in  comparable  accuracy  to  those  trained  on  private  data,  and  (3)  they  are  visually  dissimilar  from  private  images.  The  DP-ImgSyn  framework  consists  of  the  following  steps:  firstly,  a  teacher  model  is  trained  on  private  images  using  a  DP  training  algorithm.  Subsequently,  public  images  are  used  for  initializing  synthetic  images,  which  are  optimized  in  order  to  be  aligned  with  the  private  dataset.  This  optimization  leverages  the  teacher  network's  batch  normalization  layer  statistics  (mean,  standard  deviation)  to  inject  information  from  the  private  dataset  into  the  synthetic  images.  Third,  the  synthetic  images  and  their  soft  labels  obtained  from  the  teacher  model  are  released  and  can  be  employed  for  neural  network  training  in  image  classification  tasks.As  a  second  direction,  this  thesis  delves  into  achieving  efficiency  in  deep  learning.  With  neural  networks  widely  deployed  for  tackling  diverse  and  complex  problems,  the  resulting  models  often  become  parameter-heavy,  demanding  substantial  computational  resources  for  deployment.  To  address  this  challenge,  we  focus  on  quantizing  the  weights  and  the  activations  of  DNNs.  In  more  detail,  we  propose  a  method  for  compressing  neural  networks  through  layer-wise  mixed-precision  quantization.  Determining  the  optimal  bit  widths  for  each  layer  is  a  non-trivial  task,  given  the  fact  that  the  search  space  is  exponential.  Thus,  we  employ  a  Multi-Layer  Perceptron  (MLP)  trained  to  determine  the  suitable  bit-width  for  each  layer.  The  Kullback-Leibler  (KL)  divergence  of  softmax  outputs  between  the  quantized  and  full  precision  networks  is  the  metric  used  to  gauge  quantization  quality.  We  experimentally  investigate  the  relationship  between  KL  divergence  and  network  size,  noting  that  more  aggressive  quantization  correlates  with  higher  divergence  and  vice  versa.  The  MLP  is  trained  using  the  layer-wise  bit  widths  as  labels  and  their  corresponding  KL  divergence  as  inputs.  To  generate  the  training  set,  pairs  of  layer-wise  bit  widths  and  their  respective  KL  divergence  values  are  obtained  through  Monte  Carlo  sampling  of  the  search  space.  This  approach  aims  to  reduce  the  computational  cost  of  DNN  deployment,  while  maintaining  high  classification  accuracy.Additionally,  we  aim  to  enhance  efficiency  in  machine  learning  by  introducing  a  computationally  efficient  method  for  action  recognition  on  compressed  videos.  Rather  than  decompressing  videos  for  action  recognition  tasks,  our  approach  performs  action  recognition  directly  on  the  compressed  videos.  This  is  achieved  by  leveraging  the  modalities  within  the  compressed  video  format,  specifically  motion  vectors,  residuals,  and  intra-frames.  To  process  each  modality,  we  deploy  three  neural  networks.  Our  observations  indicate  a  hierarchy  in  convergence  behavior:  the  network  processing  intra-frames  tend  to  converge  to  a  flatter  minimum  than  the  network  processing  residuals,  which,  in  turn,  converge  to  a  flatter  minimum  than  the  motion  vector  network.  This  hierarchy  motivates  our  strategy  for  knowledge  transfer  among  modalities  to  achieve  flatter  minima,  generally  associated  with  better  generalization.  Based  on  this  insight,  we  propose  Progressive  Knowledge  Distillation  (PKD),  a  technique  that  incrementally  transfers  knowledge  across  modalities.  This  method  involves  attaching  early  exits,  known  as  Internal  Classifiers  (ICs),  to  the  three  networks.  PKD  begins  by  distilling  knowledge  from  the  motion  vector  network,  then  the  residual  network,  and  finally  the  intra-frame  network,  sequentially  improving  the  accuracy  of  the  ICs.  Moreover,  we  introduce  Weighted  Inference  with  Scaled  Ensemble  (WISE),  which  combines  outputs  from  the  ICs  using  learned  weights,  thereby  boosting  accuracy  during  inference.  The  combination  of  PKD  and  WISE  demonstrates  significant  improvements  in  efficiency  and  accuracy  for  action  recognition  on  compressed  videos.In  summary,  this  dissertation  contributes  to  advancing  privacy  preserving  and  efficient  machine  learning  algorithms.  The  proposed  methodologies  offer  practical  solutions  for  deploying  machine  learning  systems  in  real-world  scenarios  by  addressing  data  privacy  and  computational  efficiency.  Through  innovative  approaches  to  image  synthesis,  neural  network  compression,  and  action  recognition,  this  work  aims  to  foster  the  development  of  robust  and  scalable  machine  learning  frameworks  for  diverse  computer  vision  applications.
■590    ▼aSchool  code:  0183.
■650  4▼aVideo  compression
■650  4▼aDeep  learning
■650  4▼aPrivacy
■650  4▼aArt  techniques
■650  4▼aCurricula
■650  4▼aVisualization
■650  4▼aGender
■650  4▼aNeural  networks
■650  4▼aComputer  science
■690    ▼a0800
■690    ▼a0984
■71020▼aPurdue  University.
■7730  ▼tDissertations  Abstracts  International▼g86-04B.
■790    ▼a0183
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17164296▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서