Serverless Training

Post-entraînez et effectuez le fine-tuning de LLM sur une infrastructure serverless gérée avec Serverless RL et Serverless SFT.

Utilisez Serverless Training pour post-entraîner et effectuer le fine-tuning de LLM sur une infrastructure serverless gérée. W&B provisionne l’infrastructure d’entraînement (sur CoreWeave) pour vous, tout en vous laissant une flexibilité totale dans la configuration de votre environnement. Vous bénéficiez d’un accès instantané à un cluster d’entraînement géré qui s’adapte automatiquement et de manière élastique jusqu’à plusieurs dizaines de GPU. Serverless Training est désormais en préversion publique.

Serverless Training propose deux méthodes complémentaires :

• Serverless RL : Post-entraînez des modèles avec l’apprentissage par renforcement afin qu’ils acquièrent de nouveaux comportements et gagnent en fiabilité, en rapidité et en coût lors de l’exécution de tâches agentiques sur plusieurs tours de conversation. Serverless RL sépare les flux de travail RL en phases d’inférence et d’entraînement, puis les multiplexe entre plusieurs jobs afin d’augmenter l’utilisation des GPU et de réduire le temps d’entraînement et les coûts.
• Serverless SFT : Effectuez le fine-tuning de modèles avec apprentissage supervisé sur des jeux de données sélectionnés. Utilisez SFT pour la distillation, pour enseigner un style et un format de sortie, ou pour préparer un modèle avant d’appliquer RL.

Serverless Training est idéal pour des tâches telles que :

• Agents vocaux
• Assistants de recherche approfondie
• Modèles on-prem
• Agents d’analyse du marketing de contenu

Serverless Training entraîne des adaptateurs de bas rang (LoRAs) pour spécialiser un modèle pour votre tâche spécifique. Cela étend les capacités du modèle d’origine grâce à une expérience acquise en situation. W&B stocke automatiquement les LoRAs que vous entraînez comme artefacts dans votre compte. Vous pouvez également les enregistrer localement ou chez un tiers à des fins de sauvegarde. Serverless Inference héberge également automatiquement les modèles que vous entraînez via Serverless Training.

Voir le Démarrage rapide d’ART ou le notebook Google Colab pour commencer.

​

Pourquoi Serverless Training ?

Serverless Training peut offrir les avantages suivants pour votre post-entraînement :

• Coûts d’entraînement réduits : en mutualisant l’infrastructure entre de nombreux utilisateurs, en évitant le processus de configuration pour chaque tâche et en ramenant vos coûts GPU à zéro lorsque vous n’êtes pas en train d’entraîner activement, Serverless Training réduit considérablement les coûts d’entraînement.
• Temps d’entraînement réduit : en répartissant les requêtes d’inférence sur de nombreux GPU et en provisionnant immédiatement l’infrastructure d’entraînement lorsque vous en avez besoin, Serverless Training accélère vos tâches d’entraînement et vous permet d’itérer plus rapidement.
• Déploiement automatique : Serverless Training déploie automatiquement chaque point de contrôle généré pendant l’entraînement, vous n’avez donc pas besoin de configurer manuellement une infrastructure d’hébergement. Vous pouvez accéder immédiatement aux modèles entraînés et les tester dans des environnements locaux, de staging ou de production.

​

Comment Serverless Training utilise les services W&B

Serverless Training s’appuie sur une combinaison des composants W&B suivants pour fonctionner :

• Inférence : Pour exécuter vos modèles
• Models : Pour suivre les métriques de performance pendant l’entraînement de l’adaptateur LoRA
• Artifacts : Pour stocker et versionner les adaptateurs LoRA
• Weave (facultatif) : Pour obtenir une meilleure observabilité de la réponse du modèle à chaque étape de la boucle d’entraînement

Serverless Training est en préversion publique. Pendant cette période, W&B vous facture uniquement l’utilisation de l’inférence et le stockage des artefacts. W&B ne facture pas l’entraînement des adaptateurs pendant la période de préversion.