[챗봇] 오픈(공개) 소스-ChatGPT의 훈련 알고리즘

ChatGTP와 동일(유사한) 훈련 알고리즘이  오픈소스 구현 차원에서 공개되었다는

2023년 1월 24일에 기사화된 웹페이지입니다.

https://www.infoq.com/news/2023/01/open-source-chatgpt/

AI Developers Release Open-Source Implementations of ChatGPT Training Algorithm

 

글의 앞 부분을 보시면, 3개의 공개 소스가 있다고 합니다.

LAION의  OpenAssitant 프로젝트,  CarperAI의 trIX 프로젝트, Phil Wang의 구현 코드 등 3개를 접근할 수 있다고 합니다. 

해당 코드는 GitHub 사이트를 통해, 접근할 수 있다고 합니다.

 

AI research groups LAION and CarperAI have released OpenAssistant and trlX, open-source implementations of reinforcement learning from human feedback (RLHF), the algorithm used to train ChatGPT. Independent AI developer Phil Wang has also open-sourced his own implementation of the algorithm.

 

 

하지만, 중간 부분을 보시면, 훈련 알고리즘은 구현되어 있지만, 훈련된 모델은 아직 없다고 합니다. ( 이는 알고리즘이 아직 검증되지 않았다라고도 할 수 있습니다. 서비스를 하기 위해서는 모델(Model)이 있어야 하는데, 모델은 아직 없는 상태이고  모델을 만들기 위해서는  수백만 달러에 상응하는 컴퓨터와 훈련 데이터 가 필요하다라고 설명하고 있습니다.

 

Although these open-source projects include implementations of ChatGPT's training methods, they do not have any trained models currently available. Wang's project FAQ suggests that training might require "millions of dollars of compute + data" to complete.

 

필자의 의견도 유사합니다. 일반적인 거의 모든 인공지능 서비스는  데이터, 알고리즘, 컴퓨팅 인프라를 필요로 합니다.

훈련용 데이터는 잘 준비되어야  고품질의 모델을 컴퓨터를 통해 훈련시킨 후에 얻을 수 있습니다.

데이터와 컴퓨팅 자원에 수백만 달러( 수십 억원)을 필요로 합니다.

 

AI가 의외로 고비용 산업입니다. 또한 초기에는 사람의 도움이 필요합니다.( supervised training을 위한 데이터 확보 단계에서.)   

수익모델, 글로벌 기업과의 경쟁력, 초기 투입 자금 등을 고려하면, 알고리즘은 차치하더라도 비용 조달 및 수행 능력이 관련건이라고 여겨집니다.