OpenTelemetry pour la surveillance de l’agent

Découvrez comment Copilot les agents effectuent et interagissent avec des modèles et des outils.

Dans cet article

OpenTelemetry (OTel) est un framework d’observabilité open source. Il fournit un moyen standard de collecter des événements et des métriques de télémétrie et de les exporter vers des outils d’observabilité compatibles. Pour plus d’informations, consultez Présentation d’OpenTelemetry sur le site web OTel.

Lorsque vous activez la supervision OTel, vous pouvez envoyer des données des clients des Copilot utilisateurs à un back-end compatible OTel. Cela vous permet d’analyser les sessions d’agent et de comprendre l’utilisation de l’agent dans votre entreprise.

Quelles données Copilot envoie-t-il ?

Copilot envoie trois types de données :

  • Les traces montrent le flux d’une session d’agent et connectent chaque étape, y compris les appels de modèle et l’utilisation de l’outil. Par exemple, une trace peut afficher un agent appelant un modèle, à l’aide de l’outil readFile et appeler à nouveau le modèle pour produire une réponse.
  • Les métriques sont des mesures numériques qui vous aident à identifier les modèles au fil du temps. Par exemple, les métriques d’utilisation des jetons suivent le nombre de jetons d’entrée et de sortie utilisés dans les appels de modèle.
  • Les événements enregistrent des actions individuelles à un point spécifique dans le temps. Par exemple, un événement de commentaires de modification enregistre si un utilisateur a accepté ou rejeté une modification de l’agent.

Par défaut, les données n’incluent pas d’invites, de réponses ou d’arguments d’outil. Vous pouvez choisir de capturer ce contenu, mais il peut contenir des informations sensibles, telles que du code, du contenu de fichier et des invites utilisateur.

Activation d’OpenTelemetry

Pour collecter des données OTel à partir des clients Copilot des utilisateurs :

  1. Configurez un back-end d’observabilité. Choisissez un back-end sécurisé qui prend en charge le protocole OTLP (OpenTelemetry Protocol). Certains back-ends peuvent recevoir des données OTLP directement. Pour d’autres back-ends, déployez un collecteur OpenTelemetry pour recevoir, traiter et transférer les données. Pour des exemples, consultez Utilisation avec des systèmes back-end d’observabilité dans la documentation VS Code.
  2. Configurez les clients des utilisateurs. Définissez les valeurs de configuration pour activer OTel dans chaque client et configurez-le pour envoyer des données à votre point de terminaison OTLP en configurant le point de terminaison, les en-têtes et le jeton d’authentification.
  3. Interpréter les données. Utilisez les données collectées pour analyser les sessions et identifier les tendances. Pour obtenir un exemple d’implémentation, consultez Surveiller les agents de codage IA avec Grafana dans la documentation Microsoft.

Configuration des clients des utilisateurs

Les entreprises peuvent appliquer la configuration OTel sur les clients pris en charge avec des paramètres managés. Ces paramètres sont appliqués sur les clients des utilisateurs et ne peuvent pas être remplacés. La telemetry propriété inclut des clés pour l’activation et la configuration d’OpenTelemetry.

Pour plus d’informations, consultez « Configuration des paramètres gérés par l’entreprise » et « Paramètres gérés par l’entreprise ».

Documentation du client

Pour plus d’informations sur l’utilisation d’OpenTelemetry sur les clients, consultez :