MARC

 008260126s2024        us                              c    eng  d
■001000017361086
■00520260202105704
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798263308124
■035    ▼a(MiAaPQ)AAI32409900
■035    ▼a(MiAaPQ)124347
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aBhattad,  Anand.
■24510▼aExploring  Knowledge  in  Generative  Models
■260    ▼a[Sl]▼bUniversity  of  Illinois  at  Urbana-Champaign▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a93  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-05,  Section:  B.
■500    ▼aAdvisor:  Forsyth,  David  A.
■5021  ▼aThesis  (Ph.D.)--University  of  Illinois  at  Urbana-Champaign,  2024.
■520    ▼aGenerative  models,  such  as  StyleGAN,  have  demonstrated  remarkable  ability  in  producing  realistic  and  controllable  images.  However,  the  underlying  representations  and  mechanisms  employed  by  these  models  remain  largely  unexplored.  This  thesis  delves  into  the  intrinsic  properties  and  manipulability  of  StyleGAN,  focusing  on  image  relighting  and  decomposition.                        We  begin  by  exploring  the  impact  of  image  decompositions  on  image-based  relighting.  By  analyzing  the  role  of  intrinsic  image  components  such  as  reflectance,  shading,  and  normals,  we  gain  insights  into  the  fundamental  properties  that  contribute  to  realistic  relighting.  This  understanding  lays  the  foundation  for  our  subsequent  investigations  into  StyleGAN.                        Building  upon  these  insights,  we  introduce  StyLitGAN,  a  method  that  enables  StyleGAN  to  generate  scenes  with  novel  lighting  conditions.  StyLitGAN  produces  realistic  lighting  effects,  including  cast  shadows,  soft  shadows,  inter-reflections,  and  glossy  effects,  without  requiring  labeled,  paired,  or  CGI  data.  Moreover,  it  seamlessly  extends  to  manipulating  surface  properties  like  colors  and  materials.                        Next,  we  present  Make  It  So,  a  near-perfect  GAN  inversion  technique  that  significantly  outperforms  previous  state-of-the-art  methods.  Make  It  So  can  invert  and  relight  real  scenes,  including  out-of-domain  images,  demonstrating  its  generalizability  and  robustness.                        Finally,  we  uncover  hidden  gems  within  StyleGAN,  providing  strong  evidence  that  it  encodes  easily  accessible  and  accurate  internal  representations  of  familiar  scene  properties,  known  as  ``intrinsic  images,"  as  defined  by  Barrow  and  Tenenbaum  in  their  seminal  work  from  1978.  We  demonstrate  that  StyleGAN  has  encodings  for  intrinsic  images  such  as  reflectance,  shading,  and  normals,  which  can  be  extracted  and  manipulated  for  various  applications.                        Through  our  discoveries,  we  shed  light  on  the  implicit  understanding  of  worldly  knowledge  present  within  generative  models  like  StyleGAN.  Our  findings  pave  the  way  for  improved  manipulability,  understanding,  and  refinement  of  generative  models,  with  potential  applications  in  computer  vision,  computational  photography,  computer  graphics,  and  machine  learning.  This  thesis  contributes  to  the  broader  goal  of  leveraging  generative  models  for  advanced  image  manipulation  and  scene  understanding  tasks.
■590    ▼aSchool  code:  0090.
■650  4▼aComputer  science
■650  4▼aComputer  engineering
■650  4▼aSystems  science
■653    ▼aVisual  knowledge
■653    ▼aGenerative  models
■653    ▼aIntrinsic  images
■653    ▼aImage  decomposition
■653    ▼aDepth
■653    ▼aAlbedo
■653    ▼aSegmentation
■690    ▼a0984
■690    ▼a0464
■690    ▼a0790
■71020▼aUniversity  of  Illinois  at  Urbana-Champaign▼bComputer  Science.
■7730  ▼tDissertations  Abstracts  International▼g87-05B.
■790    ▼a0090
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17361086▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서