MARC

 008250123s2024        us                              c    eng  d
■001000017160589
■00520250211151045
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798381968996
■035    ▼a(MiAaPQ)AAI31140699
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a621.3
■1001  ▼aFan,  Ruchao.
■24510▼aImproving  the  Accuracy  and  Inference  Efficiency  for  Low-Resource  Automatic  Speech  Recognition
■260    ▼a[Sl]▼bUniversity  of  California,  Los  Angeles▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a130  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  85-09,  Section:  A.
■500    ▼aAdvisor:  Alwan,  Abeer  A.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Los  Angeles,  2024.
■520    ▼aAutomatic  speech  recognition  (ASR)  systems  have  improved  significantly  in  the  last  decade  due  to  advances  in  deep  learning  algorithms  and  easier  access  to  very  large  databases.  ASR  systems,  however,  face  two  major  challenges.  The  first  challenge  is  in  low-resource  situations,  such  as  child  speech,  where  the  accuracy  degrades  significantly,  and  the  second  challenge  concerns  low  inference  efficiency  due  to  the  autoregressive  mechanism  and  size  of  ASR  models.  In  this  dissertation,  we  address  these  challenges  by  introducing  novel  techniques  to  improve  the  accuracy  and  the  inference  efficiency  for  ASR  tasks,  especially  child  ASR.  To  address  the  accuracy  challenge,  we  introduce  novel  self-supervised  learning  (SSL)  methods  using  un-annotated  adult  speech  data  and  explore  how  these  methods  can  improve  the  downstream  child  ASR  tasks.  Specifically,  a  bidirectional  autoregressive  predictive  coding  (Bi-APC)  method  is  proposed  for  non-causal  models  pretraining  with  the  usage  of  adult  speech  data.  The  pretrained  model  is  then  finetuned  on  supervised  child  speech-text  pairs.  We  also  propose  a  novel  framework,  domain  responsible  adaptation  and  finetuning  (DRAFT),  to  reduce  the  domain  shifting  in  pretrained  speech  models.  The  DRAFT  framework  is  effective  for  APC  that  uses  a  causal  transformer  as  the  backbone,  and  for  Bi-APC,  Wav2vec2.0  and  HuBERT  methods,  which  use  a  non-causal  transformer  as  the  backbone.  To  address  the  inference  efficiency  challenge,  we  introduce  a  novel  Connectionist  Temporal  Classification  (CTC)  Alignment-based  Single-Step  Non-Autoregressive  Transformer  (CASS-NAT)  for  end-to-end  ASR.  A  comprehensive  evaluation  of  CASS-NAT  is  performed  in  this  dissertation.  In  CASS-NAT,  the  word  embeddings  in  an  autoregressive  transformer  (AT)  are  substituted  with  token-level  acoustic  embeddings  (TAE)  that  are  extracted  based  on  the  encoder  outputs  and  CTC  alignments.  TAE  can  be  obtained  simultaneously  without  recurrent  operations,  leading  to  a  parallel  generation  of  output  sequences.  In  addition,  an  error-based  alignment  sampling  method  is  proposed  to  reduce  alignment  mismatch  between  the  training  and  inference.  CASS-NAT  achieves  ~20x  speed  up  during  inference  without  significant  performance  degradation  compared  to  AT.  We  also  propose  a  CASS-NAT  variant  (UniEnc-CASSNAT)  that  consists  of  only  an  encoder  module.  Together  with  the  proposed  multi-pass  CTC  training  and  iterative  decoding,  UniEnc-CASSNAT  can  perform  as  well  as  CASS-NAT  with  fewer  model  parameters.  Beyond  these  two  challenges,  and  in  order  to  facilitate  the  development  of  better  child  ASR,  we  build  the  first  child  ASR  benchmark  for  the  research  community.  The  benchmark  includes  comparisons  of  widely-used  techniques  for  ASR  such  as  data  augmentation,  parameter  efficient  finetuning  (PEFT),  self-supervised  (HuBERT  and  WavLM)  and  supervised  models  (such  as  Whisper).  All  codes  developed  in  this  dissertation  will  be  available.
■590    ▼aSchool  code:  0031.
■650  4▼aElectrical  engineering
■650  4▼aComputer  science
■650  4▼aCommunication
■653    ▼aAdapter  finetuning
■653    ▼aAutomatic  speech  recognition
■653    ▼aNon-autoregressive  generation
■653    ▼aSelf-supervised  learning
■653    ▼aSpeech  foundation  models
■690    ▼a0544
■690    ▼a0984
■690    ▼a0459
■71020▼aUniversity  of  California,  Los  Angeles▼bElectrical  and  Computer  Engineering  0333.
■7730  ▼tDissertations  Abstracts  International▼g85-09A.
■790    ▼a0031
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17160589▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서