OK ROCK

ASR = Automatic Speech Recognition 음성 인식(Speech Recognition) 개요 음성 데이터를 컴퓨터가 해석해 내용을 텍스트 데이터로 전환하는 처리 과정. 즉, STT(Speech to Text)와 의미 상통 최근에는 Seq2Seq방식의 RNN으로 속도와 성능 면에서 좋은 결과를 가져오며, 음성인식에서도 End-to-End 학습 방식의 발전으로 오디오 특징을 입력으로 받아 글자 또는 단어(Text)를 출력으로 하는 단일 함수를 학습한다. 한국어 음성으로 구현된 STT 모델이 있는지 여부를 고려했는데, 대부분 오픈소스 STT 모델들은 그 성능이 영어에 한정해서 알려져 있었기 때문에, 한국어 음성에 대해서도 검증된 사례가 있는지 여부가 중요했다. 한국어로 pre-traine..

Abstract BART : Bidirectional Auto-Regressive Transformer seq2seq모델의 사전학습 태스크에 쓰이는 노이즈 제거 오토인코더 (denoising autoencoder) noise가 첨가된 텍스트로 , 원래의 텍스트를 복원하는 것을 학습한다. BERT와 GPT를 하나로 합친 형태로, 기존 Seq2seq 트랜스포머 모델을 새로운 pre-training objective을 통해 학습하여 하나로 합친 모델 Introduction Self-supervised learning(자기지도학습)은 NLP에서 주목할만한 성과를 보여주고 있음 MAE(Masked Auto-Encoder)는 문장 내에서 존재하는 단어를 마스킹하여 가려진 텍스트를 다시 재복원(reconstructi..