챗-GPT3를 직접 만든다면? #1

챗-GTP3 라고 이름이 붙은 이유부터 알고 보아야 합니다.

 

뒤에 있는 GPT3은   GPT 모델  3.0을 기반으로 사용하였다는 것입니다.

GPT는 Generative Pretrained Transformer의 약자이며, 제일 중요한 것은 Generative 입니다. 즉 문장을 생성해 내는 모델입니다. 보통은 흔히 언어모델(Language Model)이라고 합니다.  언어모델의 예는  사용자가 "I am a"를 입력하면,  "I am a boy.",  "I am a student'를 생성, 즉 만들어 냅니다.

 

Chat은 챗팅(Chatting) 즉 대화 쌍 또는 질문에 답변의 형태로 주고 받는 대화형태의 '별도'모델을 만들었다는 것입니다. 근데 기초가 되는 '대화'가 있어야겠죠.  그 대화를 GPT모델을 사용해서 만들고,  Chat기능이 되도록 '별도'의 모델을 만들었다는 것입니다.

 

그럼, "나도 만들어보고 싶은데....".

 

GPT3는 그 모델을 얻을 수 없습니다.( 보통 공개 모델이 AI 개발자 사이에는 종종 있습니다.)

그래서, 어쩔 수 없이 성능이 낮은 GPT2를 가지고  그 공정을 살펴보아야 합니다. ( Chat-GPT2를 만든다는 것입니다.)

 

GPT2는 언어모델입니다. 문장을 생성하는 모델입니다.

 

GPT2에 대한 것을 주요 용어 위주로 요약하면,

   - Pretrained model on English language using a causal language modeling (CLM) objective

  -  a transformers model pretrained on a very large corpus of English data in a self-supervised fashion

  -  pretrained on the raw texts only, with no humans labelling them in any way

  - an automatic process to generate inputs and  labels from those texts( e.g. target )

  - More precisely, it was trained to guess the next word in sentences.. ( shifted one token (word or piece of word) to the right )

  - This is the smallest version of GPT-2, with 124M parameters.

 

GPT2의 사용 예시

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='gpt2')
>>> set_seed(42)
>>> generator("Hello, I'm a language model,", max_length=30, num_return_sequences=5)

[{'generated_text': "Hello, I'm a language model, a language for thinking, a language for expressing thoughts."},
 {'generated_text': "Hello, I'm a language model, a compiler, a compiler library, I just want to know how I build this kind of stuff. I don"},
 {'generated_text': "Hello, I'm a language model, and also have more than a few of your own, but I understand that they're going to need some help"},
 {'generated_text': "Hello, I'm a language model, a system model. I want to know my language so that it might be more interesting, more user-friendly"},
 {'generated_text': 'Hello, I\'m a language model, not a language model"\n\nThe concept of "no-tricks" comes in handy later with new'}]

 Hello. I'm a language model,    뒤쪽에  최대 길이 30(token기준이겠죠?)로  5개 문장을 만들어냅니다.

 

GPT2를 훈련시킨 과정은 

   -  BPE( for unicode characters)로 token표현을 수행.

   -  Vocabulary size 50,257..   즉 token의 종류가  50,000여개라는 것입니다.

   -  훈련과정에 입력에 대한 벡터 처리 과정에서,  입력문의 token 수의 제한은 1,024개입니다.

   ( token의 분포의 크기 와 연속적인 표현을 구분하여야 합니다.^^)

 

GPT2 모델의 성능 측정 ( PPL과 ACC)

   - PPL 이 여러 테스트 데이터 셋에 대해,  평균 30~70레벨입니다. 즉, 한 단어(token)뒤에 올 수 있는 token의 수가 3~70개라는 것입니다.  (  인터넷에서 수집한 문장(모집단) 및  생성할 때의 고민도/난이도/연결도/혼잡성 을  나타냅니다.

  - ACC 는 Accuracy일 수 있는데, 아직 파악을 못했습니다.  40~87 범주이빈다.

  - BPB, BPC 의 척도도 있습니다.