Modelo

Reglas

Qué es una regla

Una regla es un conjunto de operaciones que genera nuevos datasets.

Estos datasets pueden ser simplemente un subconjunto del tap o una copia anonimizada de la fuente de datos.

Cómo crear una nueva regla

Para crear una nueva regla, simplemente accede al área Reglas en el modelo del tap.

Opciones

Las opciones disponibles para la creación de una regla son:

  • Nombre: Nombre de la regla.

  • Descripción: Campo para una breve descripción de la regla, su propósito o por qué fue creada.

  • Opciones de carga: Describe cómo operará la regla cuando se ejecute y el resultado se cargue en un sink donde ya existe una base de datos.

    • Truncate: El sistema eliminará los datos de la base de datos pero mantendrá el DDL.
    • Drop: Elimina tanto los datos como el DDL existente.
    • Append: Añade el resultado de la regla a la base de datos destino.
  • Determinismo: Indica la aleatoriedad de la operación Anonymize si está incluida en la regla.

    • Random: Cada vez que se ejecute la regla, los resultados anonimizados variarán.
    • Deterministic: Dado un valor de entrada, este siempre será enmascarado con el mismo valor de salida.
    • Seed: Indica el valor base para inicializar la aleatoriedad de los datos de salida.
  • Check foreign keys: Verifica las FK y relaciones entre tablas para crear nuevas tablas de manera consistente manteniendo las relaciones entre entidades. Gigantics rastreará la base de datos completa y anonimizará los datos preservando los índices y PK/FKs.

Si está habilitado, y dependiendo de la complejidad de la base de datos, esta opción puede aumentar el tiempo de ejecución del job ya que gigantics almacena los datos en caché para buscar tablas maestras.

  • Read chunk size: Establece el tamaño del bloque de datos a leer durante la ejecución de la regla.

  • Stream content: Selecciona el tipo de contenido a mostrar en el job log.

  • Diccionario: Permite reutilizar transformaciones previas. Para más información consulta el artículo sobre how to use dictionaries.

Acciones

El usuario puede realizar las siguientes acciones sobre una regla:

  • Ejecutar: Ejecutar la regla. Puedes editar estos parámetros de ejecución:
    • Crear un conjunto de datos: Vuelca el resultado en un dataset.
    • Cargar en un sink: Carga la ejecución de la regla directamente en un sink.
    • Programar: Selecciona cuándo deseas que se ejecute la regla.
  • Editar regla: Edita las opciones de la regla descritas en la sección anterior Opciones.
  • Ver operaciones: Ir a la página de edición de operaciones.
  • Eliminar: Elimina la regla del modelo.

Verifica tus Pipelines antes de eliminar una regla porque el pipeline podría volverse inconsistente si la regla está siendo usada.

Lista de operaciones

Después de crear la regla, haz clic en el nombre para entrar a la página de operaciones. Esta lista está dividida en tres áreas según las operaciones disponibles.

Consulta

Son operaciones que modifican la lectura de datos del tap como si fuera una consulta SQL. Estas operaciones son:

  • Include/Exclude: Selecciona las entidades que deseas incluir o excluir de tu dataset.
    • En lenguaje SQL usamos la palabra clave SELECT: SELECT ... FROM [...]
  • Where: Añade condicionales en tus entidades para incluir o excluir campos específicos.
    • En lenguaje SQL usamos la palabra clave WHERE: [...] WHERE employees.hire_date > '01/01/2000'
  • Limit: Limita el número de filas a leer (y consecuentemente escribir) del tap. Puedes limitar todas las entidades o aplicar límites por entidad.
    • En lenguaje SQL usamos la palabra clave LIMIT: [...] LIMIT BY 10
  • Order: Ordena la lectura de tablas ASC o DESC por un campo específico de la entidad.
    • En lenguaje SQL usamos la palabra clave ORDER BY: [...] ORDER BY CustomerName ASC
  • Rate: Establece la velocidad de lectura de la fuente de datos.
  • SQL Query: Permite al usuario crear su propia consulta personalizada.

Transformación

Operaciones que modifican los datos de la base de datos. Actualmente hay dos tipos de transformaciones:

  • Anonymize: Enmascara los datos usando las funciones disponibles.
  • Synthesize: Genera datos sintéticos basados en datos reales.

Salida

Operaciones que actuán sobre la salida de datos.

  • Max: Establece el número máximo de registros que se escribirán en el destino.

Tabla de Contenidos