Incluir/Excluir

La operación Incluir/Excluir te permite seleccionar qué entidades incluir o excluir de tu nuevo conjunto de datos. Esta operación se aplica al inicio del pipeline para determinar el conjunto inicial de entidades a procesar.

Resumen

La operación Incluir/Excluir proporciona dos formas de filtrar entidades:

• Modo Incluir: Solo se procesan las entidades seleccionadas
• Modo Excluir: Se procesan todas las entidades excepto las seleccionadas

Adicionalmente, puedes usar expresiones regulares para coincidir con nombres de entidades cuando tienes un patrón de nombramiento, o seleccionar grupos de entidades completos.

Configuración

Modo de Selección

Elige entre dos modos para filtrar entidades:

Incluir: Solo las entidades que selecciones se incluirán en tu conjunto de datos. Esto es útil cuando solo necesitas unas pocas entidades específicas de un conjunto de datos grande.

Excluir: Todas las entidades excepto las que selecciones se incluirán en tu conjunto de datos. Esto es útil cuando deseas omitir solo unas pocas entidades de un conjunto de datos donde la mayoría son relevantes.

La opción Incluir / Excluir aparece con todos los métodos (Usar selector, Usar expresión regular y Usar grupos de entidades), y se guarda con la operación: al volver a abrir una operación guardada en modo excluir aparece Excluir seleccionado.

Selección de Entidades

Hay hasta tres métodos para seleccionar entidades: Usar selector, Usar expresión regular y, cuando el modelo tiene grupos de entidades, Usar grupos de entidades. Al guardar la operación solo se conserva el método que se está mostrando.

Selector: Elige entidades de una lista de entidades disponibles en tu conjunto de datos. Puedes seleccionar múltiples entidades marcándolas en la lista. Con Excluir la lista de la derecha se titula Entidades excluidas, y la regla procesa todas las demás entidades.

Regex: Define un patrón de expresión regular para coincidir con nombres de entidades. Esto es particularmente útil cuando tus entidades siguen convenciones de nombramiento. Por ejemplo, si tienes entidades llamadas "cliente_2023", "cliente_2024", "orden_2023", "orden_2024", podrías usar la expresión regular "cliente_.*" para incluir todas las entidades de clientes.

Grupos de Entidades

Usar grupos de entidades solo aparece cuando el modelo tiene al menos un grupo de entidades. Muestra la opción Incluir / Excluir y una casilla por grupo:

┌──────────────────────────────────────────────────────────────────────────┐
│ [Usar selector] [Usar expresión regular] [Usar grupos de entidades]      │
├──────────────────────────────────────────────────────────────────────────┤
│ (o) Incluir  ( ) Excluir                                                 │
│ [x] orders partitions   Principal: orders   [12 entidades]               │
│ [ ] logs by region      Principal: logs     [6 entidades]                │
└──────────────────────────────────────────────────────────────────────────┘

Cada fila muestra el nombre del grupo en negrita, su entidad principal (Principal: <entidad>) y una etiqueta con el número de entidades que el grupo incluye en el job o excluye de él:

Con Excluir se procesan todas las entidades que no están en un grupo seleccionado. Las particiones son las entidades del último esquema que cumplen el patrón del grupo, así que las particiones creadas después del grupo (por ejemplo la tabla de un mes nuevo) se recogen en cuanto se vuelve a escanear el esquema.

Si los grupos seleccionados ya no existen (se borraron o se les cambió el nombre), una operación en modo incluir no selecciona ninguna entidad en lugar de todo el esquema, y el log del servidor muestra un aviso. Edita la operación y vuelve a seleccionar los grupos.

El método también decide qué grupos comparten la configuración de su entidad principal en las demás operaciones de la regla (anonimizar, sintetizar, select, limit y query):

Ejemplos

Incluir Entidades Específicas

Para incluir solo entidades de clientes y órdenes en tu conjunto de datos:

1. Selecciona el modo "Incluir"
2. Elige el método "Selector"
3. Marca las entidades "cliente" y "orden" de la lista

Excluir Entidades Específicas

Para excluir las entidades de registro y auditoría de tu conjunto de datos:

1. Elige "Usar expresión regular"
2. Selecciona el modo "Excluir"
3. Ingresa el patrón de expresión regular: "^(registro|auditoria)$"

Incluir por Patrón

Para incluir todas las entidades que comienzan con "ventas_":

1. Elige "Usar expresión regular"
2. Selecciona el modo "Incluir"
3. Ingresa el patrón de expresión regular: "^ventas_.*"

Incluir un Grupo de Entidades

Para procesar las particiones mensuales de orders con la configuración de orders:

1. Crea el grupo en la página Descubrimiento del modelo (botón Grupos de Entidades), con orders como entidad principal y el patrón ^orders_\d{6}$
2. En la regla, elige "Usar grupos de entidades"
3. Selecciona el modo "Incluir"
4. Marca el grupo

Excluir un Grupo de Entidades

Para procesar todo excepto una tabla particionada y sus particiones, por ejemplo audit_log particionada por mes:

1. Crea el grupo con audit_log como entidad principal, el patrón ^audit_log_\d{6}$ y Tabla particionada marcado
2. En la regla, elige "Usar grupos de entidades"
3. Selecciona el modo "Excluir"
4. Marca el grupo: no se procesan ni audit_log ni sus particiones

Esta operación te permite controlar eficientemente el alcance de tu pipeline de procesamiento de datos incluyendo solo entidades relevantes o excluyendo entidades irrelevantes.