008240612s2023      us  |||||||||||||||c||eng  d
■001000016932450
■00520240214100500
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798379604790
■035    ▼a(MiAaPQ)AAI30492704
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a519
■1001  ▼aAlghamdi,  Wael  Mohammed  A.▼0(orcid)0000-0001-6631-2160
■24510▼aEstimation  and  Optimization  of  Information  Measures  with  Applications  to  Fairness  and  Differential  Privacy▼h[electronic  resource]
■260    ▼a[S.l.]:▼bHarvard  University.  ▼c2023
■260  1▼aAnn  Arbor  :▼bProQuest  Dissertations  &  Theses,  ▼c2023
■300    ▼a1  online  resource(373  p.)
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  84-12,  Section:  A.
■500    ▼aAdvisor:  Calmon,  Flavio.
■5021  ▼aThesis  (Ph.D.)--Harvard  University,  2023.
■506    ▼aThis  item  must  not  be  sold  to  any  third  party  vendors.
■520    ▼aMy  dissertation  solves  three  theoretical  problems  on  optimizing  and  estimating  information  measures,  and  it  also  builds  on  this  theory  to  introduce  novel  practical  algorithms  for:  1)  Optimal  mechanism  design  for  differential  privacy  (DP);  2)  Optimal  group-fair  enhancement  in  machine  learning;  and  3)  Estimation  of  information  measures  from  data  using  sample  moments.  Information  measures  (in  particular,  f-divergences)  provide  a  rigorous  way  to  tackle  several  real-world  problems.  Examples  include:  1)  Quantifying  the  degree  of  privacy  afforded  by  data  releasing  mechanisms---using  the  hockey-stick  divergence;  2)  Correcting  machine  learning  (ML)  trained  classifiers  for  group-fairness---via  optimizing  cross-entropy;  and  3)  Detecting  new  dependencies  between  pairs  of  natural  phenomena---via  estimating  mutual  information  from  data.  Herein,  we  put  forth  mathematically  grounded  approaches  for  the  above  three  practical  problems.  In  the  first  third  of  the  dissertation,  we  design  optimal  DP  mechanisms  in  the  large-composition  regime,  and  we  also  derive  a  fast  and  accurate  DP  accountant  for  the  large-composition  regime  via  the  method  of  steepest  descent  from  mathematical  physics.  We  prove  that  the  privacy  parameter  is  equivalent  to  a  KL-divergence  term,  then  we  provide  solutions  to  the  ensuing  minmax  KL-divergence  problem.  In  the  second  third  of  the  dissertation,  we  generalize  the  ubiquitous  concept  of  information  projection  to  the  case  of  conditional  distributions---which  we  term  model  projection.  We  derive  explicit  formulas  for  model  projection,  as  well  as  a  parallelizable  algorithm  to  compute  it  efficiently  and  at  scale.  We  instantiate  our  model  projection  theory  to  the  domain  of  group-fair  ML,  thereby  obtaining  an  optimal  multi-class  fairness  enhancement  method  that  runs  in  the  order  of  seconds  on  datasets  of  size  more  than  1  million  samples.  In  the  last  third  of  the  dissertation,  we  derive  the  functional  form  of  the  relationship  between  information  measures  and  the  underlying  moments.  Plugging  in  the  sample  moments  of  data  into  our  new  moments-based  formulas,  we  are  able  to  estimate  mutual  information  and  differential  entropy  efficiently  and  robustly  against  affine-transformations  of  the  samples.
■590    ▼aSchool  code:  0084.
■650  4▼aApplied  mathematics.
■650  4▼aInformation  science.
■653    ▼aDifferential  privacy
■653    ▼aEstimation
■653    ▼aF-divergence
■653    ▼aGroup-fairness
■653    ▼aInformation  projection
■653    ▼aMoments
■690    ▼a0364
■690    ▼a0723
■690    ▼a0800
■71020▼aHarvard  University▼bEngineering  and  Applied  Sciences  -  Applied  Math.
■7730  ▼tDissertations  Abstracts  International▼g84-12A.
■773    ▼tDissertation  Abstract  International
■790    ▼a0084
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T16932450▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.
■980    ▼a202402▼f2024