Se você gerencia agentes do Copilot no Microsoft 365, precisa de uma forma de ver como os usuários interagem com eles e se os agentes retornam respostas corretas. Os relatórios padrão do Copilot mostram uso em alto nível, mas não expõem consultas individuais, contagens de tokens ou motivos de falha. O Application Insights, parte do Azure Monitor, captura essa telemetria quando você conecta seu agente do Copilot a ele. Este artigo explica como configurar a conexão, executar consultas no portal do Azure e interpretar os dados que importam para o desempenho do agente.
Principais conclusões: Inspecionando a telemetria do agente do Copilot
- Portal do Azure > Application Insights > Logs: Execute consultas Kusto nas tabelas customEvents e traces para ver os prompts dos usuários e as respostas do agente.
- Configuração do agente do Copilot > Cadeia de conexão do Application Insights: Cole a Chave de Instrumentação para habilitar o streaming de telemetria do seu agente para o Azure.
- Filtro de consulta Kusto: where name == “CopilotAgent” Isola a telemetria do seu agente entre todos os eventos no recurso do Application Insights.
O que os agentes do Copilot enviam para o Application Insights
Quando você configura um agente do Copilot para enviar telemetria ao Application Insights, o agente registra cada interação do usuário como um evento personalizado. Cada evento inclui o texto do prompt, a resposta gerada, o número de tokens consumidos e o código de status HTTP da chamada. Esses dados ficam na tabela customEvents do seu recurso do Application Insights. O agente também registra métricas de desempenho, como a latência da resposta em milissegundos. Nenhuma informação pessoal identificável do usuário é incluída por padrão. Você pode estender o esquema adicionando dimensões personalizadas no código do seu agente. Pré-requisitos: uma assinatura ativa do Azure, um recurso do Application Insights na mesma região do seu agente do Copilot e a função de Colaborador ou Proprietário nesse recurso.
Tabelas usadas para telemetria do agente
As duas principais tabelas são customEvents e traces. A tabela customEvents armazena cada consulta do usuário como uma linha com campos para nome, carimbo de data/hora, customDimensions e customMeasurements. A tabela traces armazena mensagens de depuração e erro do runtime do agente. Você pode unir essas tabelas na coluna operation_Id para correlacionar uma solicitação do usuário com seus logs de backend.
Campos de dados em cada evento
Cada evento em customEvents tem um campo name definido como CopilotAgent. A propriedade customDimensions contém um objeto JSON com chaves como prompt, response, model e errorMessage. A propriedade customMeasurements contém valores numéricos como totalTokens, promptTokens e responseLatencyMs.
Passos para conectar seu agente do Copilot ao Application Insights
Siga estes passos para habilitar o streaming de telemetria do seu agente do Copilot para o Application Insights. Você precisa da cadeia de conexão do Application Insights antes de começar.
- Crie ou abra um recurso do Application Insights no Azure
Entre no portal do Azure em portal.azure.com. Pesquise por Application Insights e selecione seu recurso existente ou crie um novo. Anote a Chave de Instrumentação na página Visão geral. - Copie a cadeia de conexão
No recurso do Application Insights, vá para Configurações > Controle de acesso e copie o valor da Cadeia de Conexão. Essa cadeia começa com InstrumentationKey= e inclui a chave e o IngestionEndpoint. - Abra a configuração do seu agente do Copilot
Vá para o centro de administração do Microsoft 365 em admin.microsoft.com. Navegue até Copilot > Agentes. Selecione o agente que deseja monitorar. Clique em Editar agente. - Cole a cadeia de conexão nas configurações do agente
Nas configurações do agente, encontre a seção Telemetria. Cole a cadeia de conexão do Application Insights no campo rotulado como Cadeia de conexão do Application Insights. Clique em Salvar. - Gere tráfego de teste
Abra seu agente do Copilot em um navegador ou no Teams e envie pelo menos três prompts. Aguarde cinco minutos para a telemetria aparecer no Application Insights.
Problemas comuns quando a telemetria não aparece
Nenhum evento aparece na tabela customEvents
Se você executar uma consulta e vir zero resultados, a cadeia de conexão pode estar incorreta. Verifique novamente a cadeia nas configurações do agente. Confirme também que o recurso do Application Insights está na mesma região do Azure que seu agente do Copilot. Telemetria entre regiões não é suportada. Se o problema persistir, regenere a cadeia de conexão no Azure e cole novamente.
Eventos aparecem, mas com campos de prompt ou resposta vazios
Isso acontece quando o código do agente não passa o prompt ou a resposta para a API de telemetria. Verifique no código do seu agente a linha que chama trackEvent ou trackTrace. Garanta que o dicionário customDimensions inclua chaves para prompt e response. Se você usa um agente pré-construído do modelo do Copilot Studio, atualize o modelo para incluir esses campos.
Eventos de erro mostram limite de taxa HTTP 429
Um código de status 429 significa que seu recurso do Application Insights está recebendo muitas solicitações por segundo. O limite de ingestão padrão é de 10.000 eventos por segundo por recurso. Se seu agente lida com alto tráfego, aumente o limite solicitando um aumento de cota ao Suporte do Azure. Alternativamente, amostre a telemetria definindo uma porcentagem de amostragem no Application Insights em Configurações > Amostragem.
Telemetria do agente do Copilot vs. Relatórios padrão do Copilot
| Item | Telemetria do agente do Copilot no Application Insights | Relatórios padrão do Copilot no Centro de administração |
|---|---|---|
| Granularidade dos dados | Prompt e resposta por usuário | Apenas contagens de uso agregadas |
| Consumo de tokens | Disponível por evento em customMeasurements | Não disponível |
| Detalhes de erro | Código de status HTTP e mensagem de erro | Contagem genérica de erros |
| Rastreamento de latência | Tempo de resposta em milissegundos | Não disponível |
| Dimensões personalizadas | Adicione qualquer dado via código do agente | Esquema fixo |
| Período de retenção | Configurável até 730 dias | 28 dias |
Depois de conectar seu agente do Copilot ao Application Insights, você pode executar consultas Kusto para inspecionar cada interação do usuário. Comece com uma consulta simples que retorna os últimos 100 eventos: customEvents | where name == "CopilotAgent" | take 100. A partir daí, filtre por carimbo de data/hora, ID do usuário ou contagem de tokens para encontrar problemas de desempenho. Os dados de telemetria também ajudam a depurar as respostas do agente quando os usuários relatam respostas incorretas. Para uma análise mais aprofundada, crie um painel no Azure Workbooks que gráfica a latência média e a taxa de erro ao longo do tempo.