MARC

 008260126s2023        us                              c    eng  d
■001000017360564
■00520260202105547
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798263395711
■035    ▼a(MiAaPQ)AAI32315620
■035    ▼a(MiAaPQ)GeorgiaTech73152
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aLi,  Peng.
■24510▼aCleaning  and  Learning  Over  Dirty  Tabular  Data
■260    ▼a[Sl]▼bGeorgia  Institute  of  Technology▼c2023
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2023
■300    ▼a233  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Chu,  Xu;Rong,  Kexin.
■5021  ▼aThesis  (Ph.D.)--Georgia  Institute  of  Technology,  2023.
■520    ▼aThe  quality  of  Machine  Learning  (ML)  applications  is  only  as  good  as  the  quality  of  the  data  they  train  on.  Unfortunately,  real-world  data  is  rarely  free  of  errors,  especially  for  tabular  data,  which  frequently  suffers  from  data  issues  like  missing  values,  outliers,  and  inconsistencies.  Therefore,  data  cleaning  is  widely  regarded  as  an  essential  step  in  an  ML  workflow  and  an  effective  way  to  improve  ML  performance.  However,  data  cleaning  is  often  a  time-consuming  and  expensive  process  that  heavily  relies  on  human  efforts.  Traditional  data  cleaning  approaches  often  treat  data  cleaning  as  a  standalone  task  independently  of  its  downstream  applications,  which  may  not  effectively  improve  ML  performance  and  can  sometimes  even  worsen  it.  Furthermore,  it  often  leads  to  unnecessary  costs  for  cleaning  errors  that  have  a  minor  impact  on  ML  performance.This  dissertation  jointly  considers  data  cleaning  and  machine  learning,  and  focuses  on  developing  algorithms  and  systems  for  cleaning  and  learning  over  dirty  tabular  data,  with  the  dual  objectives  of  (1)  optimizing  downstream  ML  performance  and  (2)  minimizing  human  efforts.We  start  with  a  CLEANML  study  to  empirically  evaluate  the  impact  of  data  cleaning  on  downstream  ML  performance.  In  this  study,  we  build  a  benchmark  that  includes  14  real-world  datasets  with  five  common  types  of  data  errors,  various  data  cleaning  algorithms,  and  seven  ML  models.  We  conduct  experiments  using  this  benchmark  and  perform  rigorous  statistical  testing  to  systematically  investigate  how  data  cleaning  affects  ML.  This  study  establishes  the  feasibility  of  this  dissertation  and  provides  many  insights  for  the  following  research.We  then  introduce  CPCLEAN,  a  cost-effective  human-involved  data  cleaning  algorithm  for  ML  that  minimizes  human  cleaning  efforts  while  preserving  ML  performance.  The  algorithm  quantifies  the  impact  of  data  cleaning  on  ML  using  a  novel  theoretical  framework  called  Certain  Predictions.  It  prioritizes  cleaning  examples  with  a  large  impact  on  ML  while  ignoring  those  with  no  impact.  Our  experiments  show  that  CPCLEAN  can  reduce  cleaning  efforts  by  up  to  80%  without  compromising  ML  performance.We  subsequently  demonstrate  DIFFPREP,  an  automatic  data  cleaning  method  for  ML  that  can  automatically  and  efficiently  select  data  preprocessing  (cleaning)  pipelines  to  maximize  downstream  ML  performance  without  human  involvement.  We  transform  and  relax  the  discrete,  non-differential  search  space  of  data  preprocessing  pipelines  into  a  continuous  and  differentiable  one,  which  allows  us  to  co-optimize  data  preprocessing  and  model  training  using  gradient  descent.  Our  experiments  show  that  DIFFPREP  achieves  the  best  test  accuracy  on  15  out  of  the  18  datasets  evaluated  and  improves  the  model's  test  accuracy  by  up  to  6.6  percentage  points.Finally,  we  present  AUTO-TABLES  that  can  automatically  transform  tables  from  nonstandard  formats  into  a  standard  format  without  any  human  effort.  This  obviates  the  need  for  humans  to  manually  program  table-restructuring  transformations  for  cleaning  and  learning  over  many  real-world  tables  with  non-standard  formats,  and  broadens  the  application  of  our  proposed  cleaning  methods  to  these  tables.  Our  evaluation  shows  that  AUTO-TABLES  can  successfully  synthesize  transformations  for  over  70%  of  test  cases  at  interactive  speeds.The  works  in  this  dissertation  can  be  integrated  into  a  comprehensive  system  for  cleaning  and  learning  over  dirty  tabular  data.  The  dirty  input  tables  will  be  first  transformed  into  a  standard  format  by  AUTO-TABLES.  Then,  we  manually  clean  data  with  CPCLEAN  or  automatically  clean  data  with  DIFFPREP.  The  system  will  minimize  human  efforts  and  output  cleaned  tabular  data  such  that  the  downstream  ML  performance  is  optimized.
■590    ▼aSchool  code:  0078.
■650  4▼aData  science
■690    ▼a0800
■71020▼aGeorgia  Institute  of  Technology.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0078
■791    ▼aPh.D.
■792    ▼a2023
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17360564▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서