OK ROCK

中 1. Keyword-based Retrieval ☜ 2. Evaluation Metrics 3. Vector-based Retrieval 1. Keyword-based Retrieval [ Theory ] Objective :Query(질의) -> Document(문서)를 찾고자 한다. (1) Term Frequency := ( tf(t, d) ) 단순히 문서(d)에 나타나는 해당 단어(t)의 총 빈도수를 사용하는 것. 즉, 특정 단어가 문서 내에 얼마나 자주 등장하는지를 나타내는 값으로, 이 값이 높을수록 문서에서 중요하다고 생각할 수 있다. 문서 d 내에서 단어 t의 총 빈도를 f(t,d)라 할 경우, 가장 간단한 방법은 tf(t, d) = f(t, d)로 구할..

- Week 3 Contents - 1. Keyword-based Retrieval 2. Evaluation Metrics ☜ 3. Vector-based Retrieval 전반적인 정보 검색(Information Retrieval) Domain에 대한 내용을 다루고 있습니다. 2번의 평가 지표관련 내용을 먼저 정리하고, 1& 3번은 코드와 함께 다음 포스팅에서 같이 정리하려고 합니다. 정보 검색 도메인에서 평가 지표로 어떤 것들이 쓰이는지 알아보도록 하겠습니다. 그 전에, 각 상황에 따라 사용 가능한 평가 지표는 다양하며, 정해진 완벽한 정답은 없습니다. [1] Precision 정밀도(Precision)은 검색된 ..

week 3 구성 :(1) Policy Iteration (2) Value Iteration (3) Dynamic Programming 中 Policy Iteratiion Review1-1. Policy EvaluationProblem : 임의의 policy가 주어진 채, state-value function v_π 를 계산하는 것 (Prediction문제)Solution : For all s ∈ S , 이렇게 반복을 통해 value function v_π를 계산하고 업데이트하는 것을 Iterative Policy Evaluation단계라고 한다. (예제) Evaluating a Random Policy in the Small Grid World상황 설정 :Episodic MDP(discount fact..

Week 2 Lecture Note 中 (주요결론 정리. 증명 생략) 0. Bellman Equation 이어서 정의할 가치함수(Value function)를 즉각 보상과 뒤따르는 보상의 합으로 풀어서 쓴 식을 의미합니다. 즉, 현재 state의 Value functon과 이후 state의 value function과의 관계식입니다. 1. Value-function for MRP 2. Value-function for MDP 각각의 식으로부터 Bellman Equation 형태로 나타내면 다음과 같이 파란 글씨로 표현 가능합니다. 3. Optimality Equation v(s) : State-Value Function q(s, a) : Action-Value Function G_t : Return(Ac..

바이트 페어 인코딩(BPE)는 'Byte'라는 단어에서 유래한 것 처럼 본래 정보를 압축하는 알고리즘으로 쓰였으나, 최근에는 NLP모델에 널리 쓰이고 있는 토큰화 기법입니다. 예를 들어, GPT같은 NLP 모델에서 BPE 기법으로 토큰화를 수행하며, BERT에서도 BPE와 유사한 word-piece를 토크나이저로 사용하고 있습니다. 0. Subword Segmentation(단어 분리) - 하나의 토큰이 여러 개의 subword의 조합으로 이루어져 있다는 가정 하에, subword단위의 tokenization을 수행하여 단어를 이해하려는 목적을 갖는 전처리 기법 ▷Byte-Pair Encoding은 Subword Segmentation의 대표적인 알고리즘입니다. 1. BPE 알고리즘 기본적으로 문장이 모..