Informations d’utilisation et limites

Comprendre la tarification, les limites d’utilisation et les restrictions de compte applicables à W&B Serverless Training

Cette page décrit le modèle de tarification, les limites de concurrence et les restrictions géographiques applicables à W&B Serverless Training. Consultez ces informations pour estimer les coûts et comprendre les contraintes qui affectent la façon dont vous exécutez les charges de travail d’entraînement et d’inférence.

​

Tarification

La tarification comprend trois composants : l’inférence, l’entraînement et le stockage. Pour connaître les tarifs de facturation applicables, consultez notre page de tarification. Les sections suivantes décrivent chaque composant.

​

Inférence

La tarification des requêtes d’inférence de Serverless Training correspond à celle de Serverless Inference. Voir les coûts spécifiques au modèle. Pour en savoir plus sur l’achat de crédits, les niveaux de compte et les plafonds d’utilisation, consultez la documentation de Serverless Inference.

​

Entraînement

À chaque étape d’entraînement, Serverless Training collecte des lots de trajectoires qui incluent les sorties de votre agent ainsi que les récompenses associées (calculées par votre fonction de récompense). Serverless Training utilise ces trajectoires regroupées en lots pour mettre à jour les poids d’un adaptateur LoRA qui spécialise un modèle de base pour votre tâche. Les tâches d’entraînement qui mettent à jour ces LoRA s’exécutent sur des clusters GPU dédiés gérés par Serverless Training.

L’entraînement est gratuit pendant la préversion publique.

​

Stockage des modèles

Serverless Training stocke les points de contrôle de vos LoRA entraînés afin que vous puissiez les évaluer, les déployer ou poursuivre leur entraînement à tout moment. W&B facture le stockage chaque mois en fonction de la taille totale des points de contrôle et de votre plan tarifaire. Chaque plan inclut au moins 5 Go de stockage gratuit, ce qui suffit pour environ 30 LoRA. Pour économiser de l’espace, supprimez les LoRA peu performants. Voir l’ART SDK pour savoir comment les supprimer.

​

Limites

Les limites suivantes s’appliquent à l’utilisation de Serverless Training. Consultez-les lorsque vous dimensionnez vos charges de travail ou prévoyez d’utiliser le service depuis une nouvelle région.

• Limites de concurrence pour l’Inférence : Par défaut, Serverless Training prend en charge jusqu’à 2 000 requêtes simultanées par utilisateur et 6 000 par projet. Si vous dépassez votre limite de débit, l’API d’Inférence renvoie la réponse 429 Concurrency limit reached for requests. Pour éviter cette erreur, réduisez le nombre de requêtes simultanées envoyées par votre tâche d’entraînement ou votre charge de travail de production. Si vous avez besoin d’une limite de débit plus élevée, demandez-en une à [e-mail].

• Restrictions géographiques : Serverless Training est disponible uniquement dans les zones géographiques prises en charge. Pour plus d’informations, voir les Conditions d’utilisation.