Jobs híbridos e acionadores de jobs

Jobs híbridos e acionadores de jobs envolvem um conjunto de métodos assíncronos de API que permitem verificar payloads de dados enviados de praticamente qualquer fonte em busca de informações confidenciais e armazenar as descobertas no Google Cloud. Os jobs híbridos permitem que você escreva seus próprios rastreadores de dados que se comportam e exibem dados de maneira semelhante aos métodos de inspeção do armazenamento da Proteção de dados sensíveis.

Com jobs híbridos, é possível fazer streaming de dados de qualquer origem para a Proteção de dados sensíveis. A Proteção de dados sensíveis inspeciona os dados em busca de informações confidenciais ou PII e, em seguida, salva os resultados da verificação de inspeção em um recurso de job da Proteção de dados sensíveis. É possível examinar os resultados da verificação na API ou na interface do console da Proteção de dados sensíveis ou especificar ações pós-verificação a serem executadas, como salvar dados de resultados da inspeção em uma tabela do BigQuery ou emitir uma notificação do Pub/Sub.

O fluxo de trabalho de jobs híbridos está resumido no diagrama a seguir:

Diagrama do fluxo de dados de jobs híbridos, mostrando o aplicativo enviando dados de uma fonte externa para a Proteção de dados sensíveis, a Proteção de dados sensíveis inspecionando os dados e salvando ou publicando descobertas.

Neste tópico conceitual, descrevemos jobs híbridos, acionadores de job e como eles funcionam. Para saber como implementar jobs híbridos e gatilhos de jobs, consulte Como inspecionar dados externos usando jobs híbridos.

Sobre ambientes híbridos

Ambientes "híbridos" são comuns nas organizações. Muitas organizações armazenam e processam dados confidenciais usando alguma combinação dos seguintes itens:

  • Outros provedores de nuvem
  • Servidores locais ou outros repositórios de dados
  • sistemas de armazenamento não nativos, como sistemas executados em uma máquina virtual
  • Apps da Web e para dispositivos móveis
  • Soluções baseadas no Google Cloud

Usando jobs híbridos, a Proteção de dados sensíveis pode inspecionar os dados enviados para ele de qualquer uma dessas origens. Veja alguns exemplos de cenários:

  • Inspecione dados armazenados no Amazon Relational Database Service (RDS), MySQL em execução em uma máquina virtual ou em um banco de dados local.
  • Inspecione e tokenize dados à medida que você migra do local para a nuvem ou entre produção, desenvolvimento e análise.
  • inspecionar e editar transações de um aplicativo da Web ou para dispositivos móveis antes de armazenar os dados em repouso.

Opções de inspeção

Conforme descrito com mais detalhes em Tipos de método, quando você quiser inspecionar o conteúdo em busca de dados sensíveis, a Proteção de dados sensíveis oferece três opções padrão:

  • Inspeção de métodos de conteúdo: usando a inspeção de conteúdo, você faz streaming de pequenos payloads de dados para a Proteção de dados sensíveis, junto de instruções sobre o que inspecionar. Em seguida, a Proteção de dados confidenciais inspeciona os dados em busca de conteúdo confidencial e PII e, em seguida, retorna os resultados da verificação para você.
  • Inspeção de métodos de armazenamento: usando a inspeção de armazenamento, a Proteção de dados sensíveis inspeciona um repositório de armazenamento baseado no Google Cloud, como um banco de dados do BigQuery, um bucket do Cloud Storage ou um tipo do Datastore. Você informa à proteção de dados sensíveis o que inspecionar e o que buscar. Em seguida, a proteção de dados sensíveis executa um job que verifica o repositório. Após a conclusão da verificação, a Proteção de dados sensíveis salva um resumo dos resultados da verificação no job. Além disso, é possível especificar que os resultados sejam enviados para outro produto do Google Cloud para análise, como uma tabela separada do BigQuery.
  • Inspeção de jobs híbridos: os jobs híbridos oferecem os benefícios dos dois métodos anteriores. Eles permitem que você faça streaming de dados como faria com os métodos de conteúdo, além de conseguir o armazenamento, a visualização e as ações de jobs de inspeção de armazenamento. Toda a configuração de inspeção é gerenciada na Proteção de Dados Sensíveis, sem necessidade de configuração extra no lado do cliente. Os jobs híbridos podem ser úteis para verificar sistemas de armazenamento não nativos, como um banco de dados executado em uma máquina virtual (VM, na sigla em inglês), no local ou em outra nuvem. Métodos híbridos também podem ser úteis para inspecionar sistemas de processamento, como cargas de trabalho de migração, ou até para a comunicação entre serviços de proxy. Embora os métodos de conteúdo também possam fazer isso, os métodos híbridos oferecem o back-end de armazenamento de descobertas que pode agregar os dados em várias chamadas de API para que você não precise fazer isso.

Sobre jobs híbridos e acionadores de jobs

Um job híbrido é, efetivamente, um híbrido de métodos de conteúdo e métodos de armazenamento. O fluxo de trabalho básico para usar jobs híbridos e acionadores de jobs é o seguinte:

  1. Você escreve um script ou cria um fluxo de trabalho que envia dados para a Proteção de dados sensíveis para inspeção junto de alguns metadados.
  2. Você configura e cria um recurso ou gatilho de job híbrido e o ativa para ativação quando ele receber dados.
  3. O script ou fluxo de trabalho é executado no lado do cliente e envia dados para a Proteção de dados sensíveis na forma de uma solicitação hybridInspect. Os dados incluem uma mensagem de ativação e o identificador do gatilho ou do job, que aciona a inspeção.
  4. A Proteção de Dados Sensíveis inspeciona os dados de acordo com os critérios definidos no job ou gatilho híbrido.
  5. A Proteção de dados sensíveis salva os resultados da verificação no recurso de job híbrido, junto dos metadados fornecidos. É possível examinar os resultados usando a interface da Proteção de dados sensíveis no console do Google Cloud.
  6. Opcionalmente, a Proteção de dados sensíveis pode executar ações pós-verificação, como salvar dados de resultados da inspeção em uma tabela do BigQuery ou notificar você por e-mail ou Pub/Sub.

Um acionador de job híbrido permite criar, ativar e interromper jobs para que você possa acionar ações sempre que precisar. Ao garantir que o script ou o código envie dados que incluam o identificador do gatilho de jobs híbridos, não é necessário atualizar o script ou o código sempre que um novo job for iniciado.

Cenários típicos de jobs híbridos

Os jobs híbridos são adequados para objetivos como:

  • Executar uma verificação única de um banco de dados fora do Google Cloud como parte de uma verificação trimestral de bancos de dados.
  • Monitorar todo o novo conteúdo adicionado diariamente a um banco de dados que não tem suporte nativo da Proteção de Dados Sensíveis.
  • Analisa os dados que entram em um banco de dados, controlando como eles são particionados.
  • Monitore o tráfego em uma rede usando o Filtro de proteção de dados sensíveis para Envoy (um filtro HTTP do WebAssembly para proxies sidecar do Envoy) para identificar o movimento de dados sensíveis problemáticos.

Para saber como abordar esses cenários, consulte Cenários típicos de inspeção híbrida.

Tipos de metadados que é possível fornecer

Esta seção descreve os tipos de metadados que podem ser anexados aos dados externos que você quer inspecionar ou às descobertas.

É possível definir metadados nos seguintes níveis:

Metadados em um job híbrido ou gatilho de job híbrido

Esta seção descreve os tipos de metadados que podem ser anexados a um job híbrido ou a um acionador de job híbrido.

Rótulos obrigatórios

No job híbrido ou no gatilho de job híbrido, é possível especificar uma lista de identificadores obrigatórios que precisam ser incluídos em todas as solicitações de inspeção híbrida enviadas. As solicitações para esse job híbrido ou gatilho de job híbrido que não incluem esses identificadores obrigatórios são rejeitadas. Para mais informações, consulte Exigir rótulos de solicitações hybridInspect.

Rótulos opcionais

É possível especificar pares de chave-valor para serem anexados a todos os resultados de um job híbrido ou acionador de job híbrido. Por exemplo, se você quiser que todas as descobertas de um job híbrido tenham o rótulo "env"="prod", especifique esse par de chave-valor ao criar o job híbrido.

Opções de dados tabulares

Você pode especificar qualquer coluna que seja um identificador de linha (chaves primárias) para objetos de tabela nos dados. Se as colunas especificadas existirem na tabela, os valores delas serão incluídos junto com cada descoberta para que você possa rastrear a descoberta até a linha de origem. Essas opções tabulares são aplicadas somente a solicitações que enviam dados tabulares, como os formatos item.table ou byteItem, como CSV.

Se você souber as chaves primárias com antecedência, poderá defini-las como campos de identificação ao criar o job híbrido ou o gatilho de job híbrido. É possível listar até três nomes de coluna no campo hybridOptions.tableOptions.identifyingFields.

Metadados em uma solicitação hybridInspect

Esta seção descreve os tipos de metadados que podem ser anexados a uma solicitação hybridInspect. Os metadados enviados em uma solicitação hybridInspect são aplicados apenas a essa solicitação.

Detalhes do contêiner

Cada solicitação enviada para um job híbrido ou acionador de job híbrido pode especificar detalhes sobre a fonte de dados, incluindo elementos como fullPath, rootPath, relativePath, type, version e outros. Por exemplo, se você estiver verificando tabelas em um banco de dados, pode definir os campos da seguinte maneira:

{
  "hybridItem": {
    "item": {...},
    "findingDetails": {
      "containerDetails": {
        "fullPath": "10.0.0.20/database1/table1",
        "relativePath": "table1",
        "rootPath": "10.0.0.20/database1",
        "type": "postgres",
        "version": "9.6"
      },
      "labels": {...}
    }
  }
}

Não é possível definir detalhes do contêiner no nível do job híbrido ou do gatilho de job híbrido.

Rótulos obrigatórios

Se você definir rótulos obrigatórios ao criar um job híbrido ou gatilho de job híbrido, qualquer solicitação hybridInspect enviada para esse job ou gatilho precisa incluir esses rótulos obrigatórios. Para mais informações, consulte Exigir rótulos de solicitações hybridInspect.

Rótulos opcionais

Em cada solicitação hybridInspect, é possível especificar pares de chave-valor para serem anexados a qualquer descoberta nessa solicitação. Esse método permite anexar rótulos diferentes a cada solicitação hybridInspect.

Opções de dados tabulares

Você pode especificar qualquer coluna que seja um identificador de linha (chaves primárias) para objetos de tabela nos dados. Se as colunas especificadas existirem na tabela, os valores delas serão incluídos junto com cada descoberta para que você possa rastrear a descoberta até a linha de origem. Essas opções tabulares são aplicadas somente a solicitações que enviam dados tabulares, como os formatos item.table ou byteItem, como CSV.

Se você não souber as chaves primárias com antecedência, não será necessário defini-las no nível do job híbrido ou do gatilho de job híbrido. Você pode defini-los na solicitação hybridInspect com os dados tabulares a serem inspecionados. Todos os campos listados no nível do job híbrido ou do gatilho de job híbrido são combinados com os listados na solicitação hybridInspect.

Ações compatíveis

Assim como outros jobs de proteção de dados sensíveis, os jobs híbridos são compatíveis com ações. Nem todas as ações se aplicam a jobs híbridos. Veja a seguir as ações compatíveis atualmente, além de informações sobre como elas funcionam. Esteja ciente de que, com as ações do Pub/Sub, de e-mail e do Cloud Monitoring, as descobertas serão disponibilizadas quando o job terminar.

  • Salvar descobertas na Proteção de dados sensíveis e Salvar descobertas no BigQuery: as descobertas são salvas em um recurso de Proteção de dados sensíveis ou na tabela do BigQuery, respectivamente. Essas ações funcionam com jobs híbridos de maneira semelhante à maneira como funcionam com outros tipos de job, com uma diferença importante: com os jobs híbridos, as descobertas são disponibilizadas enquanto o job está em execução; já com outros tipos de job, as descobertas são disponibilizadas quando o job termina.

  • Enviar o Pub/Sub: quando um job for concluído, uma mensagem do Pub/Sub será emitida.

  • Enviar e-mail: quando um job for concluído, uma mensagem de e-mail será enviada.

  • Publicar no Cloud Monitoring: quando um job for concluído, as descobertas dele serão publicadas no Monitoring.

Resumo

Veja a seguir alguns dos principais recursos e benefícios do uso de jobs híbridos e acionadores de jobs:

  • Os jobs híbridos permitem que você faça streaming de dados para a Proteção de dados sensíveis de praticamente qualquer origem, dentro ou fora da nuvem.
  • Os acionadores de jobs híbridos são ativados quando a Proteção de dados sensíveis recebe um fluxo de dados que inclui uma mensagem de ativação e o identificador do acionador de jobs.
  • É possível aguardar até que a verificação de inspeção seja concluída ou interromper o job manualmente. Os resultados da inspeção são salvos em uma Proteção de dados sensíveis ou no BigQuery, se você permitir que o job seja concluído ou interrompido antecipadamente.
  • Os resultados da verificação de inspeção da proteção de dados confidenciais de um gatilho de job híbrido são salvos em um recurso de job híbrido na proteção de dados confidenciais.
  • É possível examinar os resultados da verificação de inspeção visualizando o recurso do gatilho de jobs na Proteção de dados sensíveis.
  • Também é possível instruir a Proteção de dados sensíveis para usar uma ação para enviar resultados de jobs híbridos para um banco de dados do BigQuery e notificar você por e-mail ou por notificação do Pub/Sub.

A seguir