Passer au contenu principal
Utilisez Serverless SFT pour effectuer le fine-tuning de LLM avec un apprentissage supervisé sur des jeux de données sélectionnés. Serverless SFT est en préversion publique. W&B fournit pour vous l’infrastructure d’entraînement (sur CoreWeave) et vous offre une flexibilité totale pour configurer votre environnement. Vous bénéficiez d’un accès immédiat à un cluster d’entraînement géré, avec mise à l’échelle automatique, pour prendre en charge vos charges de travail d’entraînement. Serverless SFT est idéal pour des tâches telles que :
  • Distillation : transférer les connaissances d’un modèle plus grand et plus performant vers un modèle plus petit et plus rapide.
  • Apprentissage du style et du format de sortie : entraîner un modèle à respecter des formats de réponse, un ton ou une structure spécifiques.
  • Amorçage avant le RL : préentraîner un modèle avec des exemples supervisés avant d’appliquer l’apprentissage par renforcement pour l’affiner davantage.
Serverless SFT entraîne des adaptateurs de bas rang (LoRA) pour spécialiser un modèle pour votre tâche. W&B stocke automatiquement les LoRA que vous entraînez comme artefacts dans votre compte. Vous pouvez également les enregistrer localement ou sur un service tiers à des fins de sauvegarde. Serverless Inference héberge aussi automatiquement les modèles que vous entraînez via Serverless SFT. Pour commencer à entraîner un modèle avec Serverless SFT, voir la documentation ART sur Serverless SFT.

​
Pourquoi Serverless SFT

Le fine-tuning supervisé (SFT) est une technique d’entraînement dans laquelle un modèle apprend à partir d’exemples d’entrée-sortie sélectionnés. Serverless SFT sur W&B offre les avantages suivants :
  • Coûts d’entraînement réduits : Serverless SFT mutualise l’infrastructure entre de nombreux utilisateurs, évite le processus de configuration pour chaque tâche et ramène vos coûts GPU à 0 lorsque vous n’êtes pas activement en entraînement. Cela réduit les coûts d’entraînement.
  • Entraînement plus rapide : en provisionnant immédiatement l’infrastructure d’entraînement lorsque vous en avez besoin, Serverless SFT accélère vos tâches d’entraînement et vous permet d’itérer plus rapidement.
  • Déploiement automatique : Serverless SFT déploie automatiquement chaque point de contrôle que vous entraînez. Vous n’avez donc pas besoin de configurer manuellement une infrastructure d’hébergement. Vous pouvez accéder immédiatement aux modèles entraînés et les tester dans des environnements locaux, de préproduction ou de production.

​
Comment Serverless SFT utilise les services W&B

Serverless SFT utilise une combinaison des composants W&B suivants pour fonctionner :
  • Inference : Pour exécuter vos modèles.
  • Models : Pour suivre les métriques de performances pendant l’entraînement de l’adaptateur LoRA.
  • Artifacts : Pour stocker et versionner les adaptateurs LoRA.
  • Weave (facultatif) : Pour bénéficier d’une meilleure observabilité de la façon dont le modèle répond à chaque étape de la boucle d’entraînement.
Serverless SFT est en préversion publique. Pendant cette période, W&B vous facture uniquement l’utilisation d’Inference et le stockage des artefacts. W&B ne facture pas l’entraînement des adaptateurs pendant la période de préversion.