특정 AI 솔루션의 GPU환경에서 DataSheet작성하기 위해, AWS상의 상위 Instance을 사용해 보았습니다.
상위 Instance는 최신 GPU 카드를 장착하였거나, CPU core 수가 많은 것을 의미합니다.
지원되는 사양은 글로벌로 다양하기 때문에, 한국리전에 대해서만 국한하여 수행하였습니다.
우선, CPU환경에서 최고 사양의 instance 유형은 96개의 vCPU를 제공하는 inf1-24xLarge instance입니다.
GPU instance는 P3 타입(/유형)으로 Nvidia Tesla V100 GPU를 장착하고 있습니다.
3가지 유형 중, 최대 GPU카드 장착된 인스턴스는 p3.16xLarge이며, V100 GPU 8개를 장착하고 있습니다. 시간당 약 3-4만원 상회 수준입니다.( 8개 이하의 V100 GPU 환경을 지원하는 2개의 유형이 더 있습니다.)
또 다른 GPU intance는 P4d 타입/유형이며, A100 GPU카드 8개가 장착되어 있습니다. 비용은 시간당 약 5-6만원 수준입니다. GPU카드로 8개이고, vCPU도 96개 정도여서, 최고의 운영환경 서버이기 때문인 듯힙니다.
Tip1) 각 리젼에서 제공되는 instance유형이 한정되어 있기 때문에, 인스턴스를 검색하는 것보다는 인스턴스 유형으로 접근 또는 검색이 낫습니다.
2023년 2월 17일 내용 추가
반대로 특정 솔루션을 최저비용으로 운영해야 하는 상황도 도출되었습니다.
A100, V100 GPU카드 대신에 좀 더 저렴한 GPU카드는 없을까?를 조사해 보았습니다.( 물론, 특정 솔루션/제품의 DataSheet도 측정하였지요.)
T4 GPU카드가 장착된 인스턴스유형에 g4dn시리즈가 있습니다. g4dn시리즈에서는 T4 GPU카드를 1장만 장착되어 있습니다. T4 GPU카드의 용량은 16GB입니다. 시간당 약 2,000원 수준입니다.
M60 GPU카드가 장착된 g3 시리즈도 있습니다. M60 GPU의 용량은 8GB입니다. 시간당 약 2,000의 수준이고요.
과정에서 가격과 사양에 대한 일관적으로 시각화하여 보여주는 사이트가 있음도 확인하였습니다.
https://instances.vantage.sh 사이트입니다.
검색/조회 결과 및 화면 인터페이스는 아래 그림1과 같습니다.
나타나는 값들은
- Instance 이름
- 메모리 용량.
- vCPUs 개수
- 저장공간 용량(기본값)
- 네트워크 속도
- 리눅스상에서 온디맨드형 요금
- 리눅스, 장기사용 요금
- 리눅스, Spot 최소요금
- 윈도우즈 요금
구체적으로, 특정 instance를 조회하면, 보다 상세한 자료, 선택 요소, 비교 대상(패밀리)에 대한 것이 나타납니다.
