MARC

 008260126s2025        us                              c    eng  d
■001000017357864
■00520260202103610
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798290940250
■035    ▼a(MiAaPQ)AAI32043167
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a534
■1001  ▼aDeshmukh,  Soham.
■24510▼aLearning  Audio  Foundation  Models  for  Reasoning
■260    ▼a[Sl]▼bCarnegie  Mellon  University▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a248  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-02,  Section:  B.
■500    ▼aAdvisor:  Raj,  Bhiksha.
■5021  ▼aThesis  (Ph.D.)--Carnegie  Mellon  University,  2025.
■520    ▼aSound  understanding,  a  field  of  machine  learning,  has  applications  across  healthcare,  noise  monitoring,  bioacoustics,  home  security,  and  music.  Traditionally,  task-specific  models  were  developed  for  each  application,  requiring  data  collection,  annotation,  model  training,  evaluation,  and  deployment.  This  iterative  process,  which  involves  designing  architectures,  datasets,  and  objectives,  is  repeated  for  each  new  domain,  task,  or  application.To  streamline  this  process,  recent  research  has  focused  on  pretraining  large-scale  datasets  to  learn  general-purpose  audio  representations  or  embeddings.  These  pretrained  models  can  then  be  adapted  to  new  tasks  by  training  linear  or  shallow  classifiers  on  top  of  the  learned  embeddings.  Pretrained  models  with  fine-tuning  consistently  outperform  task-specific  models  in  downstream  tasks,  making  them  a  cornerstone  of  modern  sound  understanding.Given  the  success  of  pretraining  and  scaling  (both  in  compute  and  data),  this  thesis  investigates  two  central  questions:  First,  what  are  effective  learning  or  pretraining  methods  to  enable  the  scaling  of  audio  models?  Second,  once  pretrained,  how  can  the  new  abilities  be  analyzed,  evaluated,  and  subsequently  improved?  These  questions  are  interdependent,  with  advancements  in  one  area  feeding  into  and  enhancing  the  other.  The  resulting  models,  termed  Audio  Foundation  Models  (AFMs),  are  pretrained  on  large-scale  data  and  develop  novel  capabilities  for  understanding  and  reasoning  about  sound.  This  thesis  aims  to  devise  such  models  capable  of  understanding  and  reasoning  about  audio.In  the  first  part  of  this  thesis,  we  introduce  scalable  learning  methods  to  develop  AFMs.  Specifically,  we  explore  audio-language  pretraining  to  connect  auditory  perception  with  linguistic  understanding.  We  propose  three  learning  methods  and  subsequently  models.  First,  we  propose  CLAP  (Contrastive  Audio-Language  Pretraining),  which  learns  multimodal  audio-text  representations  through  contrastive  learning.  CLAP  excels  in  retrieval  and  indexing  tasks  and  supports  zero-shot  classification,  where  test-time  classes  are  user-defined.  Second,  we  introduce  audio-conditioned  text  generation  and  subsequently  Pengi,  an  audio-language  model  that  frames  audio  tasks  as  text-generation  tasks.  By  combining  an  audio  encoder  with  a  language  model,  Pengi  enables  open-ended  tasks  such  as  audio  captioning  and  question-answering  while  maintaining  strong  performance  on  close-ended  tasks.  Finally,  we  introduce  Mellow,  a  small  audio-language  model  designed  to  address  Pengi's  limitations  in  detailed  reasoning  and  question-answering,  thereby  improving  audio-grounded  reasoning  capabilities.These  scalable  learning  methods  enable  training  on  millions  of  audio-text  pairs,  resulting  in  Audio  Foundation  Models  with  emergent  capabilities.  These  models  often  demonstrate  abilities  they  were  not  explicitly  trained  for,  making  them  valuable  for  addressing  new  domains  and  tasks.  However,  discovering  and  benchmarking  these  capabilities  is  critical  to  ensuring  their  safe  and  effective  use  in  real-world  applications.  In  the  second  part  of  this  thesis,  we  focus  on  the  reasoning  and  analytical  abilities  of  Audio  Foundation  Models.  First,  we  demonstrate  that  AFMs  can  serve  as  reference-free  audio  quality  estimators  using  antonym  prompting  strategies.  Second,  we  define  logical  reasoning  for  AFMs  and  introduce  an  audio  entailment  task  to  measure  deductive  reasoning,  identifying  key  limitations  of  existing  models.  To  enhance  reasoning  performance,  we  propose  the  "caption-before-reason"  method,  which  can  be  applied  directly  at  test  time.  Finally,  we  explore  comparative  reasoning  across  multiple  audios,  introducing  two  new  datasets  with  detailed  explanations  and  proposing  the  ADIFF  model,  which  improves  reasoning  over  state-of-the-art  AFMs.While  pretraining  on  large  datasets  is  effective,  it  is  resource-intensive  and  does  not  fully  address  long-tail  and  out-of-distribution  scenarios.  To  address  these  challenges,  in  the  third  and  final  part  of  this  thesis,  we  propose  methods  to  adapt  AFM  to  new  domains  with  minimal  resources.  These  methods  are  categorized  based  on  the  required  data  and  computational  budget.  First,  we  introduce  test-time  adaptation,  which  adapts  models  to  new  data  at  test  time  using  unlabeled  audio.  Second,  we  show  that  few-shot  learning  in  Pengi  can  improve  performance  with  limited  labeled  examples.  Finally,  we  propose  a  method  that  leverages  CLAP's  multimodal  space  to  enable  missing-modality  training  for  text  generation  tasks.In  summary,  this  thesis  presents  scalable  learning  methods,  evaluation  benchmarks,  and  key  components  for  developing  Audio  Foundation  Models  capable  of  reasoning.  These  models  have  diverse  applications,  including  media  retrieval,  creative  audio  generation,  healthcare  assistance,  and  predictive  maintenance  in  industrial  settings.  Looking  ahead,  we  believe  this  work  is  crucial  in  the  inevitable  rise  of  audio  agents,  enabling  embodied  AI  systems  to  understand  and  reason  about  their  environments  using  rich  acoustic  information.
■590    ▼aSchool  code:  0041.
■650  4▼aAcoustics
■650  4▼aComputer  engineering
■650  4▼aElectrical  engineering
■653    ▼aAudio  foundation  models
■653    ▼aAudio  processing
■653    ▼aAudio-language  models
■653    ▼aAudio-text  learning
■653    ▼aMachine  listening
■653    ▼aMultimodal  learning
■690    ▼a0800
■690    ▼a0986
■690    ▼a0544
■690    ▼a0464
■71020▼aCarnegie  Mellon  University▼bElectrical  and  Computer  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g87-02B.
■790    ▼a0041
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17357864▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서