MARC

 008250123s2024        us                              c    eng  d
■001000017163021
■00520250211152125
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798383583456
■035    ▼a(MiAaPQ)AAI31482432
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.3
■1001  ▼aYang,  Anqi.
■24510▼aAdvancing  Mobile  Photography  With  Under-Display  Cameras  and  Sensor  Design
■260    ▼a[Sl]▼bCarnegie  Mellon  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a131  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-02,  Section:  A.
■500    ▼aAdvisor:  Sankaranarayanan,  Aswin.
■5021  ▼aThesis  (Ph.D.)--Carnegie  Mellon  University,  2024.
■520    ▼aThe  ubiquity  of  mobile  devices  has  made  mobile  photography  an  indispensable  part  of  our  daily  life.  Unlike  standalone  cameras,  mobile  device  cameras  have  to  adhere  to  unique  design  constraints  imposed  by  the  compact  form  factors  and  multi-functionality  of  these  devices.  In  this  thesis,  we  investigate  two  distinct  challenges  arising  from  current  mobile  device  design  trend  and  propose  novel  camera  and  sensor  designs  to  address  them.First,  the  conflict  between  screen  size  and  camera  placement  has  never  been  more  severe  than  it  is  now,  driven  by  the  demand  for  full-screen  devices.  The  prevalence  of  organic  light-emitting  diode  (OLED)  displays,  with  their  partial  transparency,  offers  an  exciting  opportunity  to  place  a  conventional  camera  beneath  the  screen,  allowing  the  simultaneous  operation  of  both  components. We  study  under-display  cameras  (UDCs),  an  emerging  type  of  camera  that  captures  a  scene  through  the  micron-scale  openings  of  an  OLED  display  panel.  Their  image  quality  is  hindered  by  poor  signal-to-noise  ratio  and  severe  diffractive  blur  due  to  the  presence  of  the  display.  Can  we  redesign  the  hardware  to  improve  the  overall  image  quality  of  UDCs?  Based  on  Fourier  optics,  we  find  that  the  diffractive  blur  of  a  UDC  is  fundamentally  determined  by  the  shape  of  the  display  opening.  Therefore,  we  propose  a  suite  of  modifications  to  the  display  layout,  including  using  a  random  pixel  tiling  and  optimizing  the  opening  shape  of  each  pixel.  The  proposed  method  significantly  advances  image  quality  by  improving  the  invertibility  of  the  diffractive  blur.  However,  this  requires  nontrivial  display  redesign.  As  a  complementary  solution,  we  propose  to  optically  modify  the  display  opening  shape  by  adding  two  phase  masks,  one  in  front  of  and  one  behind  the  display.  The  first  phase  mask  concentrates  light  onto  the  display  openings,  and  the  other  phase  mask  restores  the  original  wavefront,  effectively  rendering  the  display  invisible  to  the  camera  under  certain  assumptions.  This  approach  improves  UDCs  light  throughput  and  the  conditioning  of  the  blur,  and  maintains  display  quality.Second,  the  continuous  shrinking  of  image  sensor  pixels,  with  the  potential  to  increase  image  resolution  under  a  constrained  sensor  die  size,  presents  challenges.  Since  small  pixels  collect  less  light,  they  are  more  susceptible  to  noise  degradation  in  low-light  conditions.  Can  we  design  novel  computational  techniques  to  combat  noise  and  expand  dynamic  range  of  these  sensors?We  propose  two  spatially  varying  readout  techniques  that  adapt  to  local  scene  brightness.  The  first  technique  involves  spatially  varying  gain.  The  key  insight  is  that  a  larger  gain  or  ISO  setting  can  overcome  read  noise  by  amplifying  the  signal  level.  Conventional  sensors  apply  a  constant  gain  across  the  entire  frame,  limiting  the  use  of  a  large  gain  when  the  scene  has  a  wide  dynamic  range.  In  contrast,  our  approach  adjusts  gain  at  small  regions  of  interest  or  even  individual  pixels,  allowing  a  much  larger  gain  for  dark  regions  while  avoiding  saturation  in  bright  regions,  thus  effectively  expanding  the  sensor's  dynamic  range.  The  second  technique  is  spatially-varying  binning.  We  investigate  the  optimal  pixel  size  in  terms  of  noise  and  resolution,  and  show  that  the  optimal  size  is  tightly  coupled  with  the  scene  light  level.  We  develop  a  simple  theory  that  maps  scene  brightness  to  optimal  pixel  size,  and  implement  this  varying  pixel  size  through  binning.  We  demonstrate  the  proposed  spatially  varying  techniques  in  various  applications,  including  high  dynamic  range  imaging,  vignetting,  and  lens  blur,  and  show  consistently  improved  noise  performance  and  effective  resolution.This  thesis  takes  a  leap  forward  by  innovating  optics  and  sensors  to  address  the  unique  challenges  in  mobile  photography.  Interestingly,  many  of  these  challenges  are  fundamentally  linked  to  classic  problems  in  computer  vision,  such  as  mitigating  blur  and  noise,  and  enhancing  resolution  and  dynamic  range.  We  hope  that  the  techniques  presented  in  this  work  will  not  only  open  new  avenues  for  mobile  photography  but  also  inspire  broader  innovation  in  the  field  of  computational  imaging.
■590    ▼aSchool  code:  0041.
■650  4▼aComputer  engineering
■650  4▼aComputer  science
■650  4▼aOptics
■650  4▼aFine  arts
■653    ▼aComputational  imaging
■653    ▼aComputational  photography
■653    ▼aDeep  learning
■653    ▼aDenoising
■653    ▼aSensors
■653    ▼aUnder-display  cameras
■690    ▼a0464
■690    ▼a0984
■690    ▼a0752
■690    ▼a0357
■71020▼aCarnegie  Mellon  University▼bElectrical  and  Computer  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g86-02A.
■790    ▼a0041
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17163021▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서