MARC

 008260126s2025        us                              c    eng  d
■001000017359144
■00520260202104841
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798293892471
■035    ▼a(MiAaPQ)AAI32172894
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.3
■1001  ▼aQuenum,  Jerome.
■24510▼aRepresentation  Learning  for  Active  Perception
■260    ▼a[Sl]▼bUniversity  of  California,  Berkeley▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a156  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-04,  Section:  B.
■500    ▼aAdvisor:  Darrell,  Trevor;Malik,  Jitendra.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Berkeley,  2025.
■520    ▼aActive  perception  driven  by  representation  learning  lies  at  the  intersection  of  computer  vision  and  robotics,  powered  by  advanced  Artificial  Intelligence  (AI)  algorithms.  It  has  for  goal  to  develop  systems  that  can  actively  gather  information  from  their  environment  by  learning  useful  representations  to  enhance  both  their  perception  and  decision-making  capabilities.  This  dissertation  explores  various  facets  of  this  topic,  with  a  particular  focus  on  how  advanced  representation-learning  techniques  can  significantly  improve  the  performance  and  utility  of  such  systems.We  begin  by  examining  the  role  of  precision  in  AI-driven  systems  through  classical  segmentation  tasks  in  Ultra-High-Resolution  (UHR)  images  within  the  context  of  battery  design.  A  novel  transformer-based  network,  TransforCNN,  is  introduced  to  segment  dendrites  in  Lithium  Metal  Battery  (LMB)  3D  X-ray  computed  tomography  (XCT)  volumes.  This  approach  significantly  improves  the  accuracy  of  segmenting  critical  structures,  which  is  essential  for  developing  more  efficient  and  reliable  batteries.  The  precision  gained  in  this  segmentation  problem  through  our  proposed  representation  learning  model  not  only  enhances  the  visual  understanding  of  battery  components  but  also  lays  the  groundwork  for  more  informed  and  effective  design  strategies.Building  on  this  foundation,  we  transition  to  addressing  the  challenge  of  processing  Ultra-High-Resolution  (UHR)  images,  which  is  important  for  applications  requiring  both  speed  and  accuracy.  We  explore  this  in  the  context  of  barcode  detection  in  UHR  images,  where  a  new  detection  pipeline  is  proposed,  integrating  a  modified  Region  Proposal  Network  (RPN)  with  a  proposed  segmentation  network  named  Y-Net.  This  study  demonstrates  how  representation  learning  can  be  optimized  to  reduce  latency  while  maintaining  high  accuracy,  showcasing  the  potential  of  AI  to  handle  complex  visual  tasks  in  real  time.We  then  examine  scalability  when  it  comes  to  the  integration  of  representation  learning  for  active  perception  in  robotics,  where  speed,  accuracy,  adaptability,  and  robustness  are  key.  Using  the  Open  X  Embodiment  (OXE)  dataset,  we  investigate  a  cross-robot  self-supervised  sensorimotor  pre-training  approach  through  RPTx,  a  multimodal  model  that  does  not  leverage  language  instructions  and  does  not  use  auto-regressive  methods.  This  approach  provided  valuable  insights  into  the  robustness  and  adaptability  issues  encountered  by  robotic  systems.  Here,  we  conduct  reliability  assessments,  an  examination  of  negative  transfer  instances  where  models  struggle  to  adapt,  and  we  speculate  on  future  directions  for  overcoming  these  difficulties.  Additionally,  we  observe  that  the  use  of  multimodal  models  that  leverage  large  language  models  for  instruction  tuning  and  that  employ  auto-regressive  techniques  led  to  more  stable  and  promising  outcomes  with  LLARVA,  a  vision-action  instruction  tuning  paradigm  that  enhances  Robot  Learning.  These  findings  demonstrate  how  learning  good  representations  can  enhance  robotic  systems'  ability  to  interpret  and  respond  to  complex  environmental  cues.Finally,  we  explore  the  challenge  of  extending  segmentation  models  beyond  fixed  object  categories  to  support  reasoning  over  visual  scenes.  While  current  segmentation  models  work  well  when  objects  are  clearly  defined,  they  struggle  with  complex  user  queries  that  refer  to  multiple  or  implicit  objects.  Recent  work  in  reasoning  segmentation,  which  generates  segmentation  masks  from  natural  language  input,  shows  that  vision-language  models  (VLMs)  can  help  address  this.  However,  our  experiments  show  that  existing  models  perform  poorly  on  remote-sensing  images,  which  often  contain  dense  and  varied  content.  To  address  this,  we  introduce  LISAt,  a  vision-language  model  designed  to  describe  remote-sensing  images,  answer  questions  about  them,  and  segment  objects  based  on  user  queries.  LISAt  is  trained  on  GRES,  a  dataset  with  27,615  annotations  across  9,205  images,  and  PreGRES,  a  multimodal  dataset  with  over  one  million  question-answer  pairs.  LISAt  outperforms  geospatial  models  like  RS-GPT4V  by  10.04%  in  BLEU-4  for  image  description  and  improves  on  open-domain  models  in  reasoning  segmentation  by  143.36%  in  generalized  Intersection  over  Union  (gIoU).  These  results  show  how  learning  strong  multimodal  representations  can  improve  scene  understanding,  especially  in  the  geospatial  domain.
■590    ▼aSchool  code:  0028.
■650  4▼aElectrical  engineering
■650  4▼aComputer  science
■650  4▼aInformation  technology
■653    ▼aActive  perception
■653    ▼aLatency  optimization
■653    ▼aMultimodal  representations
■653    ▼aObject  detection  and  segmentation
■653    ▼aReasoning  segmentation
■653    ▼aRepresentation  learning
■690    ▼a0800
■690    ▼a0544
■690    ▼a0984
■690    ▼a0489
■71020▼aUniversity  of  California,  Berkeley▼bElectrical  Engineering  &  Computer  Sciences.
■7730  ▼tDissertations  Abstracts  International▼g87-04B.
■790    ▼a0028
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17359144▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

Preview

Export

ChatGPT Discussion

AI Recommended Related Books