메인 콘텐츠로 건너뛰기
이 페이지에서는 W&B Serverless Training에 적용되는 가격 모델, 동시성 한도, 지리적 제한을 설명합니다. 이 정보를 검토하여 비용을 추정하고 트레이닝 및 추론 워크로드를 실행할 때 영향을 주는 제약 사항을 이해하세요.

​
가격

가격은 추론, 트레이닝, 저장소의 세 가지 컴포넌트로 이루어져 있습니다. 구체적인 과금 요율은 가격 페이지에서 확인하세요. 다음 섹션에서는 각 컴포넌트를 설명합니다.

​
추론

Serverless Training 추론 요청의 가격은 Serverless 추론 가격과 동일합니다. 자세한 내용은 모델별 비용을 참조하세요. 크레딧 구매, 계정 등급, 사용 한도에 대한 자세한 내용은 Serverless 추론 문서를 확인하세요.

​
트레이닝

각 트레이닝 단계에서 Serverless Training은 에이전트의 출력과 관련 보상(보상 함수로 계산됨)이 포함된 trajectory 배치를 수집합니다. Serverless Training은 이렇게 배치된 trajectory를 사용해 작업에 맞게 기본 모델을 특화하는 LoRA 어댑터의 가중치를 업데이트합니다. 이러한 LoRA를 업데이트하는 트레이닝 작업은 Serverless Training이 관리하는 전용 GPU 클러스터에서 실행됩니다. 공개 프리뷰 기간 동안 트레이닝은 무료입니다.

​
모델 저장소

Serverless Training은 사용자가 트레이닝한 LoRA의 checkpoint를 저장하므로, 언제든지 이를 평가하거나 서빙하거나 트레이닝을 계속할 수 있습니다. W&B는 총 checkpoint 크기와 가격 플랜에 따라 저장소 비용을 매월 청구합니다. 모든 플랜에는 최소 5 GB의 무료 저장소가 포함되며, 이는 LoRA 약 30개를 저장하기에 충분합니다. 공간을 절약하려면 성능이 낮은 LoRA를 삭제하세요. 자세한 방법은 ART SDK를 참조하세요.

​
한도

다음 한도는 Serverless Training 사용 시 적용됩니다. 워크로드를 사이징하거나 새 리전에서 서비스를 사용할 계획이라면 이 내용을 검토하세요.
  • 추론 동시성 한도: 기본적으로 Serverless Training은 사용자당 최대 2,000개의 동시 요청과 프로젝트당 최대 6,000개의 동시 요청을 지원합니다. 요청 속도 제한을 초과하면 추론 API는 429 Concurrency limit reached for requests 응답을 반환합니다. 이 오류를 방지하려면 트레이닝 작업 또는 프로덕션 워크로드가 한 번에 보내는 동시 요청 수를 줄이세요. 더 높은 요청 속도 제한이 필요하면 support@wandb.com으로 상향을 요청하세요.
  • 지리적 제한: Serverless Training은 지원되는 지리적 위치에서만 사용 가능합니다. 자세한 내용은 Terms of Service를 참조하세요.