MARC

 008260126s2025        us                              c    eng  d
■001000017357559
■00520260202103529
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798288866272
■035    ▼a(MiAaPQ)AAI32039737
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a004
■1001  ▼aBai,  Yatong.
■24510▼aEfficient  and  Reliable  Optimization  for  Deep  Learning  and  Media  Generation
■260    ▼a[Sl]▼bUniversity  of  California,  Berkeley▼c2025
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2025
■300    ▼a297  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  87-01,  Section:  B.
■500    ▼aAdvisor:  Sojoudi,  Somayeh.
■5021  ▼aThesis  (Ph.D.)--University  of  California,  Berkeley,  2025.
■520    ▼aThis  dissertation  develops  new  methodologies  for  improving  the  safety,  efficiency,  and  alignment  of  deep  learning  models.  Among  this  broad  topic,  we  focus  on  four  facets  of  understanding  model  robustness  and  enhancing  media  generation.We  first  address  optimization  challenges  of  neural  networks  arising  from  their  non-convexity  and  the  bi-level  min-max  formulation  necessitated  by  robust  training  methods.  Unlike  convex  optimization  problems,  which  can  be  efficiently  solved  to  global  optimality,  the  complicated  neural  network  training  formulations  often  become  stuck  at  spurious  local  optima.  By  navigating  the  challenging  loss  landscapes  via  surrogate  convex  training  optimization  problems  with  provable  global  convergence,  we  enable  tractable  learning  with  global  optimality  guarantees.  We  customize  efficient  optimization  algorithms  for  convex  training  and  extend  the  framework  to  the  adversarial  training  problem,  simultaneously  ensuring  robustness,  explainability,  and  training  speed.While  working  on  the  optimization  challenges,  we  identified  robust  neural  classifiers'  generalization  limitations  as  an  equally  critical  issue  --  the  accuracy-robustness  trade-off  makes  robust  models  from  academia  unattractive  for  practitioners  to  implement,  leaving  real-world  systems  unsafe.  To  this  end,  we  propose  a  flexible  mixed  classifier  framework  and  develop  plug-and-play  methods  like  adaptive  smoothing  and  MixedNUTS.  These  methods  mix  the  output  probabilities  of  a  robust  model  and  an  accurate  (generally  non-robust)  model,  leveraging  the  benign  confidence  property  of  robust  classifiers  to  balance  accuracy  and  robustness.  Our  methods  assume  both  base  classifiers  to  be  already  trained,  thus  compatible  with  other  advancements  in  the  field.  Their  state-of-the-art  accuracy-robustness  balance  incentivizes  practical  deployment  of  robust  models.Then,  we  analyze  the  vulnerability  of  large  language  models  (LLMs)  coupled  with  content  retrieval  systems  to  form  conversational  search  engines,  focusing  on  the  e-commerce  scenario  of  product  promotion.  We  show  that  when  LLMs  are  fed  with  fetched  product  websites,  their  recommendation  order  depends  on  product  name  (prior  knowledge),  website  content  (excluding  the  name),  and  the  website  input  order.  Despite  the  intertwined  influences  of  these  factors,  we  can  force  the  model  to  recommend  a  product  at  the  top  by  embedding  algorithmically  determined  adversarial  strings  into  the  product  website  source  code.  This  observation  unveils  an  influential  yet  lucrative  backdoor  of  LLMs,  calling  for  further  research  on  LLM  robustness.Next,  we  shift  focus  to  media  generation,  where  diffusion  models  --  the  "workhorses"  of  the  field  --  suffer  from  a  mismatch  between  training  objective  (denoise)  and  target  goal  (creative  generation).  Not  only  are  they  misaligned  with  the  target  goal  reward  functions,  but  they  also  require  a  painfully  slow  iterative  denoising  inference  process.  To  tackle  this  inefficiency  and  unreliability,  we  propose  ConsistencyTTA  to  distill  diffusion  models'  iterative  inference  procedure  into  a  single  model  pass.In  addition  to  ensuring  efficiency,  this  non-recursiveness  enables  end-to-end  fine-tuning  to  align  with  the  target  goal  rewards.Finally,  we  solve  the  misalignment  from  another  angle  and  develop  DRAGON,  a  general-purpose  framework  that  optimizes  media  creation  toward  desired  outcomes.  DRAGON  is  compatible  with  reward  functions  that  evaluate  generation  individuals  or  distributions.  We  leverage  this  flexibility  to  propose  exemplar-based  reward  functions,  with  which  DRAGON  enhances  human-perceived  media  generation  quality  without  relying  on  human  preference  annotations  or  additional  high-quality  data.Together,  these  contributions  advance  the  efficiency  and  dependability  of  modern  deep  learning,  particularly  in  settings  where  training  does  not  fully  model  deployment  scenarios.
■590    ▼aSchool  code:  0028.
■650  4▼aComputer  science
■650  4▼aEngineering
■653    ▼aAdversarial  robustness
■653    ▼aAudio  generation
■653    ▼aConvex  optimization
■653    ▼aDiffusion  model
■653    ▼aLarge  language  model
■653    ▼aNeural  network
■690    ▼a0984
■690    ▼a0796
■690    ▼a0537
■71020▼aUniversity  of  California,  Berkeley▼bMechanical  Engineering.
■7730  ▼tDissertations  Abstracts  International▼g87-01B.
■790    ▼a0028
■791    ▼aPh.D.
■792    ▼a2025
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17357559▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서