Sobre as tarefas de enriquecimento

As tarefas de enriquecimento do Knowledge Catalog permitem automatizar a curadoria de metadados e criar conjuntos de contexto específicos de domínio analisando os esquemas de conjuntos de dados, os registros de consulta e a documentação empresarial. Use essas propostas geradas para reduzir o esforço de documentação manual e embasar os agentes de IA downstream no contexto empresarial verificado.

Este documento é destinado a administradores de dados, engenheiros de dados e administradores de plataforma que conhecem os conceitos básicos do Knowledge Catalog e querem entender como as tarefas de enriquecimento funcionam. Para configurar e executar uma tarefa de enriquecimento imediatamente, consulte Criar tarefas de enriquecimento.

Por que usar tarefas de enriquecimento

As tarefas de enriquecimento resolvem o desafio de manter catálogos de dados em grande escala precisos e atualizados.

Casos de uso de tarefas de enriquecimento

As tarefas de enriquecimento ajudam as organizações a resolver os seguintes desafios comuns de metadados:

• Integração de aquisição: uma empresa adquire uma nova unidade de negócios com milhares de recursos de dados não documentados. Os engenheiros de dados apontam uma tarefa de enriquecimento para o novo conjunto de dados e fornecem os dicionários de dados da empresa adquirida como um indicador de conhecimento, que é um material de referência que fundamenta o agente no contexto específico da empresa. O agente propõe descrições alinhadas aos negócios para todo o conjunto de dados em horas, não mais em meses.

• Documentação contínua: uma equipe de engenharia de plataforma cria um lakehouse dinâmico em que os esquemas mudam diariamente. A equipe configura uma tarefa de enriquecimento para ser executada diariamente com a publicação automática ativada, de modo que as atualizações de metadados verificadas sejam aplicadas automaticamente sem revisão manual. A publicação automática garante que o catálogo sempre reflita as mudanças mais recentes no esquema.

• Governança semântica: um escritório de dados central quer padronizar a terminologia em todos os departamentos. A equipe configura uma tarefa de enriquecimento para usar um glossário empresarial aprovado como material de referência. Em seguida, o agente alinha as descrições de tabelas e colunas com essas definições oficiais, garantindo uma terminologia consistente em todo o catálogo sem alterar as fontes de dados originais.

Principais conceitos

Ao configurar uma tarefa de enriquecimento, você trabalha com os seguintes componentes principais e recursos opcionais:

Conjunto de contexto (obrigatório)

Um contêiner limitado de recursos de dados e metadados de destino. Cada tarefa de enriquecimento tem como alvo um conjunto de contexto, e cada conjunto de contexto pode ser enriquecido por apenas uma tarefa de enriquecimento. As tarefas de enriquecimento não substituem as descrições nos recursos do BigQuery nem criam termos de glossário empresarial. Em vez disso, elas armazenam descrições, conceitos e links de coluna para glossário gerados como entradas de sobreposição no conjunto de contexto e vinculam as entradas geradas às tabelas usando links de entrada reference (projects/dataplex-types/locations/global/entryLinkTypes/reference). O conjunto de contexto pode conter recursos de destino pré-preenchidos (como um conjunto de dados do BigQuery ou Lakehouse) ou você pode criar um conjunto de contexto vazio e, opcionalmente, adicionar recursos de destino ao configurar a tarefa de enriquecimento.

Por exemplo, um conjunto de contexto de marketing que vincula logicamente suas tabelas de campanha, métricas de ROAS e glossários de terminologia em um único limite de contexto de IA.

Tarefa de enriquecimento

A configuração que define o que o agente precisa fazer. Uma tarefa contém o conjunto de contexto e a programação necessários, além de recursos de dados de destino, indicadores de conhecimento, conjuntos de avaliação ou fontes de autoaprendizado opcionais que você configura ao criar ou editar a tarefa.

Por exemplo, uma tarefa configurada para instruir o agente a ler seus repositórios do GitHub e enriquecer seu conjunto de dados do finance todos os domingos à meia-noite.

Job de enriquecimento

O processo de orquestração de back-end no Knowledge Studio que executa uma tarefa de enriquecimento.

Execução de enriquecimento

Uma única instância de execução pontual de uma tarefa. O console do Knowledge Studio inclui uma guia Jobs que lista as execuções históricas de uma tarefa. É possível abrir uma execução específica para analisar as propostas de metadados que ela gerou.

Por exemplo, a instância de execução específica que ocorreu em 24 de outubro e resultou em 15 mudanças de coluna propostas.

Indicadores de conhecimento (opcional)

Materiais de referência externos que embasam o agente na realidade da sua empresa. Ao fornecer buckets do Cloud Storage, pastas ou arquivos que contêm dicionários de dados, glossários do Knowledge Catalog ou URLs de documentação interna durante a criação ou edição do escopo de uma tarefa, você garante que o agente use sua lógica de negócios específica em vez de fazer suposições genéricas.

Conjuntos de avaliação (opcional)

Perguntas de teste e o SQL correspondente (fornecido no formato .jsonl ao criar ou editar uma tarefa de enriquecimento) usados para avaliar a precisão do agente. Quando o agente propõe novos metadados, ele executa essas perguntas de teste nas propostas para garantir que a precisão não caia antes da publicação.

Por exemplo, fornecer uma pergunta de teste como "Qual é nossa MRR?" combinada com a consulta SQL exata necessária para calcular a receita recorrente mensal. Se o agente propuser metadados confusos que façam com que essa consulta de teste falhe, a proposta será sinalizada.

Fontes de autoaprendizado (opcional)

Registros de conversas em tempo real dos seus apps do Gemini Enterprise ou da análise de agentes do BigQuery que podem ser anexados ao criar ou editar uma tarefa de enriquecimento. O agente lê esses registros de chat para identificar o que os usuários estão perguntando, descobre lacunas de conhecimento e propõe automaticamente novos metadados para preencher essas lacunas.

Por exemplo, se os registros de chat revelarem que os usuários perguntam com frequência "O que significa o código de status 42?" e o agente não responder, o autoaprendizado vai acionar uma proposta de metadados para documentar esse código de status ausente.

Fontes de dados e integrações compatíveis com tarefas de enriquecimento

As tarefas de enriquecimento se integram ao Google Cloud e a sistemas de terceiros.

Fontes de dados para enriquecimento

O agente de enriquecimento pode enriquecer e adicionar diretamente recursos de dados de destino das seguintes fontes de dados do Google Cloud aos seus conjuntos de contexto:

• Conjuntos de dados e tabelas do BigQuery.

• Catálogos, namespaces e tabelas do Lakehouse

Com a integração do Lakehouse, o Knowledge Studio oferece suporte indireto ao enriquecimento de metadados de fontes de terceiros anexadas por meio de integrações do Iceberg REST Catalog (como Databricks Unity, Snowflake Horizon, AWS Glue Data Catalog e SAP Business Data Cloud).

Indicadores de conhecimento (opcional)

Durante uma execução de enriquecimento, o agente pode extrair regras semânticas, contexto de negócios e conhecimento de domínio das seguintes fontes opcionais somente leitura que você anexa à tarefa:

• Google Cloud:

  • Buckets, pastas ou arquivos individuais do Cloud Storage que contêm formatos de arquivo compatíveis (como PDFs, CSVs, Markdown, configuração, conjuntos de dados e arquivos de texto não estruturados)
  • Glossários empresariais do Knowledge Catalog localizados no mesmo escopo regional
  • Aplicativos do Google Workspace, incluindo arquivos do Google Drive (como Documentos, Planilhas, Apresentações, PDFs, arquivos e documentos de texto genéricos)

• Sistemas de terceiros (que não são do Google Cloud):

  • Arquivos do Microsoft SharePoint com menos de 5 MB (como PDFs, arquivos do Office e documentos de texto genéricos, exceto formatos legados ou imagens)
  • Repositórios do GitHub (qualquer arquivo que contenha texto legível)
  • Espaços do Atlassian Confluence e projetos do Jira

Fontes de autoaprendizagem (opcional)

Para identificar lacunas de conhecimento em registros de interação reais, o agente de enriquecimento pode extrair trajetórias das seguintes fontes opcionais:

• Aplicativos do Gemini Enterprise
• Tabelas de análise de agentes do BigQuery. Para mais informações, consulte Análise de agentes do BigQuery.

Como o agente de enriquecimento funciona

Quando você aciona uma tarefa de enriquecimento, seja on demand ou de forma recorrente, uma execução de enriquecimento é iniciada. O agente de enriquecimento é executado de forma assíncrona em segundo plano, analisando seus recursos de dados, traces de consulta e documentação para produzir propostas de metadados verificadas.

O diagrama a seguir ilustra a arquitetura de alto nível do fluxo de trabalho de um agente de enriquecimento:

O agente organiza seu conjunto de contexto em quatro fases principais:

1. Análise de indicadores e documentação: o agente extrai registros de interação para encontrar onde os agentes de IA downstream tiveram dificuldades ou precisaram de desambiguação. O agente verifica documentos corporativos no Cloud Storage ou em apps de terceiros vinculados e examina o histórico de consultas para descobrir junções de tabelas de alta frequência e dependências upstream.
2. Elaboração de propostas de contexto: guiado pela sua meta de curadoria, o agente elabora um contexto estruturado para os recursos de destino. Essas propostas incluem visões gerais de tabelas orientadas para negócios, fórmulas de métricas formais, condições de mesclagem verificadas e modelos de consulta SQL baseados em parâmetros de ouro.
3. Comparativo de mercado e otimização: cada proposta é verificada quanto à validade determinista (por exemplo, sintaxe SQL válida) e recebe uma pontuação de confiança, que é incluída em uma pontuação de confiança geral para a execução. Se você configurou um conjunto de avaliação, o agente também testa iterativamente os metadados elaborados em relação às perguntas de teste para maximizar a acurácia da consulta downstream e mede se a acurácia cai em comparação com o valor de referência.

4. Aplicar políticas de revisão: o agente prepara todas as mudanças propostas como solicitações de mudança. Quando uma execução gera mais de 250 mudanças de metadados, o agente divide as propostas em solicitações de mudança em lote encadeadas (Lote 1 de N, Lote 2 de N e assim por diante) que precisam ser aprovadas em sequência. Se você ativou a publicação automática, o agente avalia toda a execução como um todo e aprova automaticamente as solicitações de mudança em preparo, deixando um registro de auditoria, somente quando todas as seguintes condições são atendidas:

   • A pontuação de confiança geral da execução é de pelo menos 0,85 (85%) ou atende ao limite configurado.
   • Nenhuma proposta falha em uma verificação de validade (por exemplo, SQL malformado).
   • Quando um conjunto de avaliação é configurado, a precisão cai em no máximo 5 pontos percentuais (ou a queda máxima de qualidade configurada).

   Se alguma dessas condições não for atendida, todas as propostas na execução vão permanecer em estágio como solicitações de mudança para revisão manual. As propostas de exclusão são sempre preparadas em uma solicitação de mudança de Exclusões separada e mantidas para revisão manual, mesmo quando a publicação automática está ativada.

Segurança e governança corporativas

Como as tarefas de enriquecimento do Knowledge Studio usam inteligência artificial para analisar seus esquemas de dados e documentação interna, a plataforma implementa limites rígidos de segurança e governança para proteger suas informações reservadas:

• Identidade de execução gerenciada pelo usuário: as tarefas de enriquecimento são executadas em uma conta de serviço de execução gerenciada pelo usuário que você configura no projeto. O agente de serviço do Dataplex personifica essa conta de serviço de execução usando credenciais de curta duração, garantindo que as tarefas só possam ler as fontes de dados e os conjuntos de contexto aos quais você concede acesso explícito.

• Governança human-in-the-loop: as propostas de metadados geradas são preparadas como solicitações de mudança para manter um registro de auditoria. A menos que você ative a publicação automática e a execução atenda a todos os limites de qualidade, validade e avaliação, os gestores de dados precisam inspecionar as comparações de diferenças e as pontuações de confiança antes de aprovar atualizações em um conjunto de contexto. As propostas de exclusão sempre exigem revisão manual.

• Treinamento de modelos de fundação: seus dados continuam sendo seus. Os traces de execução do cliente, os esquemas de banco de dados e os indicadores de conhecimento fornecidos (como documentos ou glossários internos) nunca são usados para treinar os modelos de fundação do Google.

• Sanitização de dados: antes que qualquer metadado proposto seja gravado em um conjunto de contexto, o agente oculta automaticamente as informações de identificação pessoal (PII) dos registros do sistema e dos traces de geração.

• Limites de execução: o agente de enriquecimento opera em um locatário seguro, gerenciado pelo Google. O agente acessa suas fontes de dados particulares usando uma interface do Private Service Connect e um proxy de saída controlado pelo cliente.

Para configurar papéis do Identity and Access Management (IAM), contas de serviço e provedores de autenticação externos para tarefas de enriquecimento, consulte Configurar pré-requisitos para tarefas de enriquecimento.

Configurações recomendadas

O Knowledge Catalog oferece várias configurações opcionais para tarefas de enriquecimento. Recomendamos começar com uma configuração básica e ativar progressivamente os recursos avançados à medida que você escalona as operações de metadados.

Escolher entre uma única tarefa e várias tarefas

Cada tarefa de enriquecimento tem uma relação de um para um com o conjunto de contexto de destino e aceita até 500 recursos de dados no total, considerando os recursos padrão do conjunto de contexto e os recursos adicionais que você adicionar à tarefa.

• Use uma única tarefa de enriquecimento e um conjunto de contexto quando até 500 tabelas compartilharem um domínio de negócios, uma equipe de gestão de dados e uma programação de atualização comuns. Agrupar tabelas relacionadas em uma única tarefa permite que o agente de enriquecimento descubra chaves de mesclagem entre tabelas, conceitos de negócios compartilhados e modelos de consulta SQL de várias tabelas em uma única execução. Se uma execução grande gerar mais de 250 propostas de metadados, o Knowledge Studio vai dividir automaticamente a saída em lotes sequenciais (Lote 1 de N, Lote 2 de N) para que os revisores possam aprová-las em etapas gerenciáveis.
• Divida em vários conjuntos de contexto e tarefas de enriquecimento quando seus domínios de dados tiverem proprietários de domínio ou aprovadores de fluxo de trabalho distintos, exigirem programações de execução ou indicadores de conhecimento diferentes ou abrangerem mais de 500 tabelas de destino.

Ciclo de vida da implantação

O processo de criação e implantação de uma tarefa de enriquecimento segue um ciclo de vida linear:

1. Configurar pré-requisitos: conceda os papéis necessários, configure as contas de serviço e ative a criação de perfis de dados e os insights de dados de IA em tabelas usadas com frequência. Para mais informações, consulte Configurar pré-requisitos para tarefas de enriquecimento.
2. Vincular conhecimento externo: autorize a tarefa a ler arquivos do seu Google Drive ou de repositórios externos do Git para embasamento. Para mais informações, consulte Configurar conectores externos para tarefas de enriquecimento.
3. Criar a tarefa: defina o conjunto de contexto, os recursos de destino, os indicadores de conhecimento e a estratégia de avaliação. Para mais informações, consulte Criar tarefas de enriquecimento.
4. Analise as propostas da IA: verifique os diagnósticos da execução, analise as descrições propostas e aprove as mudanças nos metadados. Para mais informações, consulte Avaliar e aprovar propostas de enriquecimento.

Limitações

Durante o pré-lançamento, as tarefas de enriquecimento operam dentro dos seguintes limites:

• Limites de compliance: as tarefas de enriquecimento não são compatíveis com o VPC Service Controls, as chaves de criptografia gerenciadas pelo cliente (CMEK), os compromissos de residência de dados (DRZ), a transparência no acesso (AXT) ou o Assured Workloads.

• Gerenciamento priorizando o console: você configura e gerencia tarefas exclusivamente pelo console do Google Cloud . As APIs REST públicas diretas e os comandos da CLI gcloud não estão disponíveis no pré-lançamento.

• Escopo da tarefa e mapeamento de conjunto de contexto de um para um: cada conjunto de contexto pode ser enriquecido por apenas uma tarefa de enriquecimento, e cada tarefa de enriquecimento é compatível com até 500 recursos de destino no total.

• Cotas e limites: as tarefas de enriquecimento e as execuções de tarefas estão sujeitas a cotas de recursos regionais e cotas de taxa por projeto. Para mais informações, consulte a seção de tarefas de enriquecimento do Knowledge Studio em Cotas e limites.

Preços

Durante o pré-lançamento, a execução de tarefas de enriquecimento do Knowledge Studio e o preparo de solicitações de mudança em lote não aprovadas são oferecidos sem custos financeiros.

Um grupo de entradas de conjunto de contexto vazio ou uma solicitação de alteração em lote não aprovada não gera cobrança de armazenamento de metadados. As cobranças de armazenamento de metadados começam somente quando você aprova uma solicitação de mudança no grupo de entradas do conjunto de contexto (ou quando a publicação automática aplica as mudanças). Nesse momento, as cobranças padrão de armazenamento de metadados do Knowledge Catalog são aplicadas ao projeto que hospeda o grupo de entradas. As cobranças de uso padrão, incluindo o processamento de consultas do BigQuery e as leituras e gravações de preparo do Cloud Storage, se aplicam ao seu projeto quando uma tarefa de enriquecimento usa recursos opcionais gerenciados pelo cliente, como buckets do Cloud Storage para indicadores de conhecimento ou conjuntos de avaliação e tabelas de trace de análise de agentes do BigQuery para autoaprendizado.

A seguir