MARC

 008250123s2024        us                              c    eng  d
■001000017162625
■00520250211152034
■006m          o    d                
■007cr#unu||||||||
■020    ▼a9798383198735
■035    ▼a(MiAaPQ)AAI31334959
■040    ▼aMiAaPQ▼cMiAaPQ
■0820  ▼a616
■1001  ▼aBiderman,  Dan.
■24510▼aResource-Efficient  Machine  Learning  Systems:  From  Natural  Behavior  to  Natural  Language
■260    ▼a[Sl]▼bColumbia  University▼c2024
■260  1▼aAnn  Arbor▼bProQuest  Dissertations  &  Theses▼c2024
■300    ▼a233  p
■500    ▼aSource:  Dissertations  Abstracts  International,  Volume:  86-01,  Section:  A.
■500    ▼aAdvisor:  Cunningham,  John  P.
■5021  ▼aThesis  (Ph.D.)--Columbia  University,  2024.
■520    ▼aContemporary  machine  learning  models  exhibit  unprecedented  performance  in  the  text,  vision,  and  time-series  domains,  but  at  the  cost  of  significant  computational  and  human  resources.  Applying  these  technologies  for  science  requires  balancing  accuracy  and  resource  allocation,  which  I  investigate  here  via  three  unique  case  studies.In  Chapter  1,  I  present  a  deep  learning  system  for  animal  pose  estimation  from  video.  Existing  approaches  rely  on  frame-by-frame  supervised  deep  learning,  which  requires  extensive  manual  labeling,  fails  to  generalize  to  data  far  outside  of  its  training  set,  and  occasionally  produces  scientifically-critical  errors  that  are  hard  to  detect.  The  solution  proposed  here  includes  semi-supervised  learning  on  unlabeled  videos,  video-centric  network  architectures,  and  a  post-processing  step  that  combines  network  ensembling  and  state-space  modeling.  These  methods  improve  performance  both  with  scarce  and  abundant  labels,  and  are  implemented  in  an  easy-to-use  software  package  and  cloud  application.  In  Chapter  2,  I  turn  to  the  Gaussian  process,  a  canonical  nonparametric  model,  known  for  its  poor  scaling  with  dataset  size.  Existing  methods  accelerate  Gaussian  processes  at  the  cost  of  modeling  biases.  I  analyze  two  common  techniques  --  early  truncated  conjugate  gradients  and  random  Fourier  features  --  showing  that  they  find  hyperparameters  that  underfit  and  overfit  the  data,  respectively.  I  then  propose  to  eliminate  these  biases  in  exchange  of  increased  variance,  via  randomized  truncation  estimators.  In  In  Chapter  3,  I  investigate  continual  learning,  or  "finetuning",  in  large  language  models  (LLMs)  with  billions  of  weights.  Training  these  models  requires  more  memory  than  typically  available  in  academic  clusters.  Low-Rank  Adaptation  (LoRA)  is  a  widely-used  technique  that  saves  memory  by  training  only  low  rank  perturbations  to  selected  weight  matrices  in  a  so-called  "base  model'".  I  compare  the  performance  of  LoRA  and  full  finetuning  on  two  target  domains,  programming  and  mathematics,  across  different  data  regimes.  I  find  that  in  most  common  settings,  LoRA  underperforms  full  finetuning,  but  it  nevertheless  exhibits  a  desirable  form  of  regularization:  it  better  maintains  the  base  model's  performance  on  tasks  outside  the  target  domain.  I  then  propose  best  practices  for  finetuning  with  LoRA.In  summary,  applying  state-of-the-art  models  to  large  scientific  datasets  necessitates  taking  computational  shortcuts.  This  thesis  highlights  the  implications  of  these  shortcuts  and  emphasizes  the  need  for  careful  empirical  and  theoretical  investigation  to  find  favorable  trade-offs  between  accuracy  and  resource  allocation.
■590    ▼aSchool  code:  0054.
■650  4▼aNeurosciences
■650  4▼aStatistics
■650  4▼aComputer  science
■650  4▼aInformation  science
■653    ▼aComputer  vision
■653    ▼aGaussian  processes
■653    ▼aLarge  language  models
■653    ▼aNeuroethology
■653    ▼aPose  estimation
■653    ▼aSoftware  systems
■690    ▼a0317
■690    ▼a0800
■690    ▼a0463
■690    ▼a0984
■690    ▼a0723
■71020▼aColumbia  University▼bNeurobiology  and  Behavior.
■7730  ▼tDissertations  Abstracts  International▼g86-01A.
■790    ▼a0054
■791    ▼aPh.D.
■792    ▼a2024
■793    ▼aEnglish
■85640▼uhttp://www.riss.kr/pdu/ddodLink.do?id=T17162625▼nKERIS▼z이  자료의  원문은  한국교육학술정보원에서  제공합니다.

미리보기

내보내기

chatGPT토론

Ai 추천 관련 도서