Avaliação de skills do Copilot no SharePoint: guia prático

O que este tutorial resolve

Ao final deste passo a passo, você vai saber criar uma skill do Copilot no SharePoint, rodar uma avaliação de skills Copilot SharePoint com o recurso de evaluations e ajustar o texto da skill até que ela responda com a precisão que uma área de crédito exige. O cenário é comum em cooperativas: um analista pergunta ao Copilot qual é a alçada de aprovação de um gerente de agência ou qual documento é obrigatório para reenquadramento de PLD, e a resposta precisa citar exatamente o que está no manual normativo vigente, sem inventar cláusula nem misturar versões antigas de política.

Uma skill resolve a parte de consistência: em vez de cada colaborador escrever um prompt diferente e obter respostas diferentes para a mesma pergunta, a cooperativa publica uma skill com instruções e fontes fixas. O problema é que ninguém sabe se aquela skill está boa até alguém usar e reclamar. É exatamente essa lacuna que o recurso de evaluations fecha, porque permite testar a skill com perguntas reais antes de ela chegar ao time todo.

Pré-requisitos

• Licença: Microsoft 365 Copilot atribuída ao usuário que vai criar e avaliar a skill. Não funciona com licença apenas de Microsoft 365 sem o complemento do Copilot.
• Ambiente: SharePoint Online com o site de destino já provisionado (por exemplo, o site do departamento de Crédito ou de Compliance) e o Copilot habilitado no locatário pelo administrador global ou pelo administrador de Copilot no Microsoft 365 admin center.
• Permissão: acesso de Leitura ou superior aos arquivos que vão servir de fonte para a skill. A skill herda as permissões do SharePoint, ela não abre nenhum conteúdo que o usuário não pudesse ver antes.
• Papel no tenant: criar uma skill pessoal não exige papel administrativo. Compartilhar a skill com um grupo, no entanto, costuma exigir que o usuário seja dono do site ou tenha permissão de gestão sobre a biblioteca onde a skill fica associada.
• Fase do rollout: evaluations é um recurso em disponibilização gradual. Ele pode aparecer primeiro para tenants no canal de Targeted Release ou no programa Frontier, e a opção "Avaliar" dentro da skill pode simplesmente não existir ainda no seu ambiente. Antes de seguir o tutorial, confirme no Centro de Mensagens do Microsoft 365 admin center se o recurso já foi anunciado para o seu locatário.

Passo a passo

1. Reúna as fontes antes de criar a skill

Abra a biblioteca de documentos do site onde vivem os normativos, por exemplo Site de Crédito > Documentos > Manuais e Políticas. Separe os dois ou três arquivos que realmente respondem às perguntas mais frequentes, como o manual de alçadas de aprovação e a política de PLD/KYC. Evite anexar a biblioteca inteira: quanto mais arquivos ambíguos ou desatualizados a skill enxerga, mais fácil ela mistura versões e mais baixo sai o score na evaluation.

2. Crie a skill a partir do painel do Copilot

Com os arquivos selecionados, clique no ícone do Copilot no canto superior direito da página do SharePoint e escolha Skills > Criar skill. Em tenants onde o rótulo ainda não foi atualizado, essa opção pode aparecer como "Criar prompt reutilizável" ou dentro do próprio Copilot Chat, na opção "Salvar como skill" depois de um prompt bem-sucedido. O racional é o mesmo em qualquer rótulo: você está transformando um prompt testado em um objeto reutilizável, com fontes fixas.

3. Escreva as instruções da skill com critério de aceite explícito

No campo de instruções, não escreva apenas "responda dúvidas sobre crédito". Escreva o que você espera ver em toda resposta, por exemplo:

Você responde dúvidas sobre alçadas de aprovação de crédito e política de PLD/KYC
usando exclusivamente os arquivos anexados a esta skill.

Regras obrigatórias:
1. Sempre cite o número da cláusula e a data de revisão do documento de origem.
2. Se a pergunta envolver um valor de alçada, informe o cargo, o limite em reais
   e se há exigência de garantia.
3. Se a resposta não estiver nos arquivos anexados, diga isso explicitamente
   em vez de complementar com conhecimento geral.

Essa terceira regra é a que mais separa uma skill boa de uma skill arriscada em ambiente regulado. Sem ela, o modelo tende a preencher lacunas com informação plausível, mas não confirmada pelo manual.

4. Defina o escopo de compartilhamento

Escolha se a skill fica pessoal, visível só para você, ou compartilhada com um grupo, como o time de analistas de crédito PF. O compartilhamento usa os mesmos grupos de segurança e permissões do SharePoint que já existem, não é preciso recriar listas de acesso. Para uma primeira avaliação, mantenha a skill pessoal: você quer testar antes de expor ao time.

5. Salve a skill

Clique em Salvar. Nesse ponto a skill já existe como objeto, mas ainda não foi testada com rigor, apenas com o prompt que você usou para criá-la. É aqui que entra a evaluation.

Sequência de seis passos para criar, avaliar e ajustar uma skill do Copilot no SharePoint até validá-la no OneDrive

6. Abra a aba de avaliação dentro da skill

Volte à skill recém-criada e localize a aba Evaluate ou Avaliar, geralmente ao lado das abas de edição e de compartilhamento. Se essa aba não aparecer, é o sinal mais comum de que o recurso de evaluations ainda não chegou ao seu tenant, e não um erro de configuração da skill.

7. Monte casos de teste com pergunta e resposta esperada

Um caso de teste tem duas partes: a pergunta que um usuário real faria e o critério que define uma resposta correta. Para a skill de alçadas de crédito, um bom conjunto de casos seria:

• "Qual o limite de alçada do gerente de agência para crédito consignado sem garantia?" , resposta esperada precisa citar o valor exato e o cargo, com referência à cláusula do manual.
• "Preciso de comitê de crédito para renegociar uma dívida de associado com atraso acima de 90 dias?" , resposta esperada precisa distinguir os fluxos de renegociação por faixa de atraso.
• "Qual documento comprova a origem de recursos para depósito acima do limite de PLD?" , resposta esperada precisa vir exclusivamente da política de PLD/KYC anexada, sem complemento externo.

Escreva de quatro a seis casos assim antes de rodar a primeira evaluation. Menos que isso e o relatório não tem base suficiente para apontar um padrão de erro.

8. Execute a evaluation

Clique em Run evaluation ou Executar avaliação. O sistema roda cada caso de teste contra a skill, sem interferência sua, e gera um relatório com o desempenho por caso e uma nota consolidada.

9. Leia o relatório por dimensão, não só pela nota final

O relatório costuma abrir dimensões separadas de qualidade. As mais relevantes para decidir se a skill está pronta para o time são:

Uma nota geral alta com aderência às fontes baixa é o pior cenário possível para uma cooperativa: a skill parece confiável, mas está complementando com conteúdo que não veio do manual.

10. Ajuste o texto da skill com base no gap identificado

Se o relatório apontou fraqueza em citação, por exemplo, volte às instruções e torne a exigência mais mecânica:

Formato obrigatório de resposta:
[Resposta em até 3 frases]
Fonte: [nome do documento], cláusula [número], revisão de [data]

Skills respondem melhor a instruções estruturadas como essa do que a pedidos genéricos de "seja preciso" ou "cite a fonte quando possível".

11. Rode a evaluation de novo

Depois do ajuste, execute a avaliação novamente sobre os mesmos casos de teste. Compare o relatório novo com o anterior. Se a nota de aderência às fontes subiu e a de citação também, o ajuste funcionou. Se uma dimensão melhorou e outra piorou, o texto da skill provavelmente ficou rígido demais em um ponto e frouxo em outro, e vale revisar de novo antes de compartilhar.

12. Valide a mesma skill a partir do OneDrive

Esse é o ponto que mudou recentemente e que vale testar com atenção: a skill criada a partir de um site do SharePoint agora acompanha o usuário também no OneDrive. Abra o OneDrive da mesma conta, acione o painel do Copilot e procure a skill na lista disponível. Ela deve aparecer com o mesmo nome, as mesmas instruções e as mesmas fontes, mesmo estando fisicamente associada a um site diferente. Isso importa na prática porque um analista de crédito muitas vezes rascunha um parecer em um arquivo pessoal no OneDrive antes de subir ao site oficial, e antes dessa mudança a skill simplesmente não existia fora do site de origem.

Como validar que deu certo

Você saberá que o fluxo funcionou quando, ao final, tiver três evidências concretas: um relatório de evaluation com nota consolidada acima do limite que a cooperativa considerar aceitável para uso sem revisão humana, um histórico mostrando melhora entre a primeira e a segunda execução após o ajuste de texto, e a skill respondendo de forma idêntica tanto a partir do site do SharePoint quanto a partir do OneDrive. Se a resposta no OneDrive vier diferente da resposta no SharePoint para a mesma pergunta, alguma das duas superfícies ainda não recebeu a atualização mais recente da skill, e vale aguardar alguns minutos e testar de novo antes de assumir erro de configuração.

Erros comuns

• A aba "Evaluate" não aparece na skill. Causa mais provável: o tenant ainda não recebeu o rollout de evaluations. Não é um problema de permissão do usuário, é disponibilidade de recurso por locatário.
• "This skill can't access one or more of its sources" (ou mensagem equivalente). Causa: o usuário que está rodando a evaluation não tem permissão de leitura em algum dos arquivos anexados à skill, ou o arquivo foi movido ou renomeado depois que a skill foi criada.
• Score baixo mesmo com as fontes corretas anexadas. Causa quase sempre é instrução vaga. Skills respondem melhor a regras numeradas e formato de saída explícito do que a descrições soltas de comportamento esperado.
• A nota muda entre uma execução e outra da mesma evaluation, com os mesmos casos de teste. Causa: variação normal do modelo generativo. Não é bug. A prática recomendada é rodar cada evaluation duas vezes antes de decidir se a skill está pronta, e não confiar em uma única execução.
• A skill funciona no SharePoint mas não aparece no OneDrive. Duas causas possíveis: o recurso de skills entre superfícies ainda está em propagação para aquele usuário, ou a skill foi criada como estritamente pessoal em uma sessão que não sincronizou o perfil do Copilot entre os dois ambientes. Peça para o usuário sair e entrar de novo no Copilot antes de investigar mais a fundo.
• A skill responde com informação que não está em nenhum arquivo anexado. Causa: falta a regra explícita proibindo complemento com conhecimento geral. Esse é o erro mais sério em contexto de crédito e PLD, porque a resposta parece confiável sem ser rastreável a nenhuma fonte.

Uma nota sobre governança

Skills não contornam nenhuma política de acesso já existente no locatário. Se o SharePoint aplica rótulo de sensibilidade, DLP ou restrição de permissão sobre um documento, a skill respeita a mesma barreira, ela simplesmente não vê o que o usuário não veria abrindo o arquivo diretamente. Isso simplifica a governança de conteúdo, mas não substitui a revisão periódica de quem tem acesso ao quê. Vale colocar as skills críticas de crédito e compliance num inventário simples, com o dono do conteúdo, a data da última evaluation e a nota obtida, para que a auditoria interna tenha algo concreto para revisar quando perguntar como a cooperativa garante a qualidade das respostas geradas por IA.

O ganho real de rodar evaluations antes de liberar uma skill para o time todo não é a nota em si, é transformar uma decisão de "parece que está bom" em um critério que pode ser repetido, comparado entre versões e defendido diante de auditoria. Se sua cooperativa já está testando skills de Copilot em produção e quer estruturar esse processo de avaliação como parte da governança de conteúdo, essa é uma conversa que vale ter com quem já passou por esse desenho em ambiente regulado.