Utiliser vos modèles entraînés

Envoyez des requêtes d’inférence aux modèles que vous avez entraînés

Après avoir entraîné un modèle avec Serverless RL, il est automatiquement disponible pour l’inférence. Cette page vous montre comment construire le point de terminaison d’un modèle entraîné et lui envoyer des requêtes d’inférence. Utilisez ce point de terminaison pour intégrer votre modèle à votre application ou à vos flux de travail d’évaluation.

Pour envoyer des requêtes à votre modèle entraîné, vous avez besoin des éléments suivants :

• Votre clé API W&B
• La base URL de l’API Serverless Training, https://api.training.wandb.ai/v1/
• Le point de terminaison de votre modèle

Le point de terminaison du modèle utilise le schéma suivant :

wandb-artifact:///[ENTITY]/[PROJECT]/[MODEL-NAME]:[STEP]

Le schéma comprend :

• Le nom de votre entité W&B (équipe)
• Le nom du projet associé à votre modèle
• Le nom du modèle entraîné
• L’étape d’entraînement du modèle que vous souhaitez déployer. Il s’agit généralement de l’étape où le modèle a obtenu les meilleurs résultats lors de vos évaluations.

Par exemple, si votre équipe W&B s’appelle email-specialists, que votre projet s’appelle mail-search, que votre modèle entraîné s’appelle agent-001 et que vous souhaitez le déployer à l’étape 25, le point de terminaison se présente ainsi :

wandb-artifact:///email-specialists/mail-search/agent-001:step25

Une fois que vous disposez de votre point de terminaison, vous pouvez l’intégrer à vos flux de travail d’inférence habituels. Les exemples suivants montrent comment effectuer des requêtes d’inférence vers votre modèle entraîné à l’aide d’une requête cURL ou du SDK d’OpenAI pour Python. Choisissez l’exemple qui correspond à votre environnement.

​

cURL

curl https://api.training.wandb.ai/v1/chat/completions \
    -H "Authorization: Bearer $WANDB_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{
            "model": "wandb-artifact://[ENTITY]/[PROJECT]/[MODEL-NAME]:[STEP]",
            "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Summarize our training run."}
            ],
            "temperature": 0.7,
            "top_p": 0.95
        }'

​

SDK d’OpenAI

from openai import OpenAI

WANDB_API_KEY = "your-wandb-api-key"
ENTITY = "my-entity"
PROJECT = "my-project"

client = OpenAI(
    base_url="https://api.training.wandb.ai/v1",
    api_key=WANDB_API_KEY
)

response = client.chat.completions.create(
    model=f"wandb-artifact:///{ENTITY}/{PROJECT}/my-model:step100",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Summarize our training run."},
    ],
    temperature=0.7,
    top_p=0.95,
)

print(response.choices[0].message.content)