Modelo
Crear un nuevo pipeline
El asistente de nuevo pipeline le guía a través de un proceso de tres pasos para crear pipelines automatizados de procesamiento de datos. Esta interfaz ofrece opciones para configurar el tipo de job del pipeline, los ajustes de ejecución y las preferencias de programación.
Resumen de la creación de un pipeline
La creación de un pipeline usa un asistente de varios pasos con las siguientes etapas:
- Tipo de job - Configurar el nombre del pipeline y el tipo de job
- Configurar - Establecer la concurrencia, las opciones de carga, las opciones de transformación y el registro
- Programar - Definir cuándo y con qué frecuencia se ejecuta
Paso 1: Tipo de job
Nombre del pipeline
El identificador básico de su pipeline. Este nombre aparece en la lista de pipelines y sirve para identificar el pipeline en los logs y en las llamadas a la API.
Selección del tipo de job
El tipo de job determina qué tipo de procesamiento de datos realizará el pipeline. Cada tipo habilita opciones de configuración diferentes:
| Tipo de job | Descripción | Caso de uso |
|---|---|---|
| Escanear | Escanea el tap en busca de cambios | Detección de cambios en el schema |
| Descubrimiento | Crea un nuevo descubrimiento etiquetando los campos del tap | Descubrimiento y análisis de campos |
| Volcar | Crea un nuevo dataset a partir del tap utilizando una regla | Extracción de datos con transformación |
| Pump | Vuelca los datos del tap en un sink usando una regla | Streaming directo de datos con transformación |
| Cargar | Carga un dataset existente en un sink | Replicación y migración de datasets |
Opciones específicas del tipo de job
Para operaciones de volcado
- Selección de regla: Elegir una regla de transformación a aplicar (opcional - por defecto "sin regla")
- Seleccionar "sin regla" permite volcar los datos directamente sin proteger los datos sensibles
- Las reglas permiten el masking, la anonimización y la transformación de los datos
Para operaciones de pump
- Selección de regla: Elegir una regla de transformación a aplicar a los datos del stream
- Destino: Elegir dónde enviar los datos transformados:
- Sink: Cargar los datos en un sink externo
- Sobrescribir tap: Actualizar directamente el tap de origen
Para operaciones de carga
- Selección del dataset: Elegir un dataset existente para cargar
- Selección de regla: Aplicar reglas de transformación (opcional)
- Destino: Seleccionar el destino (Sink o Sobrescribir tap)
Opciones de destino
Cuando se selecciona Sink como destino:
- Selección del sink: Elegir entre los sinks disponibles
- Cada sink muestra su tipo de driver (base de datos, sistema de archivos, etc.)
Asegúrese de crear sus sinks antes de crear un pipeline que necesite un sink como destino. Sin sinks configurados previamente, el desplegable de selección del sink estará vacío y no podrá completar la configuración del pipeline.
Paso 2: Configurar
Opciones de concurrencia
Configure cómo procesa el pipeline los datos en paralelo:
| Ajuste | Descripción | Rango/Opciones |
|---|---|---|
| Concurrencia | Número de streams de procesamiento concurrentes: entidades en paralelo, o rangos de claves de una tabla grande | Mínimo: 1 (entero). El ajuste del servidor jobs.concurrent es un mínimo para todos los jobs |
| Continuar reportando después de fallar | Seguir procesando las demás entidades si una falla. Aun así el job termina fallido y puede reiniciarse | Casilla de verificación. Habilitada por defecto; toma el valor de la regla seleccionada |
| Reintentar al fallar | Reintenta los batches de escritura fallidos dividiéndolos por la mitad hasta aislar el registro que falla | Casilla de verificación. Deshabilitada por defecto; toma el valor de la regla seleccionada |
Seleccionar una regla rellena la configuración con las opciones de la regla, que puede cambiar para el pipeline.
Opciones de Carga
Disponibles para las operaciones Pump y Cargar:
| Ajuste | Descripción | Opciones |
|---|---|---|
| Entidades objetivo | Acción cuando el sink ya contiene datos | Truncar: Borrar los datos existentes Drop: Eliminar y volver a crear las entidades Añadir: Añadir a los datos existentes Actualizar: Actualizar los registros existentes Combinar: Combinar con los datos existentes |
| Contenido del stream | Tipo de contenido que se carga en el destino | Datos y metadatos: Información completa Sólo datos: Solo los registros de datos Sólo metadatos: Solo los metadatos |
| Longitud del batch de lectura | Registros leídos de la fuente en cada ciclo | Entero con el sufijo "Registros" |
| Longitud de batch de escritura | Registros escritos en el destino en cada ciclo | Entero con el sufijo "Registros" |
Nota: Las opciones de entidades objetivo disponibles dependen de los modos de escritura que admite el sink. Truncar, Drop y Añadir se deshabilitan al sobrescribir el tap: seleccionar Sobrescribir tap como destino los cambia a Actualizar.
Opciones de transformación
Disponibles cuando se selecciona una regla de transformación:
Determinismo
- Aleatorio: Resultados diferentes en cada ejecución de la regla
- Determinista: Los mismos resultados garantizados en cada ejecución (requiere un valor de semilla)
Valor de la semilla
- Se usa para inicializar el generador de números pseudoaleatorios
- Obligatoria cuando se selecciona el modo Determinista: un job determinista sin semilla falla al iniciar con
Deterministic mode requires a seed - Se aplica a todas las entidades de la regla; el modo Aleatorio la ignora
- Rango: 1 a 9,999,999
- El botón Generar crea un valor de semilla aleatorio
Comprobación de foreign keys (Comprobar las FK)
- Auto: Determina automáticamente si hace falta comprobar las foreign keys
- No comprobar: Omite la validación de las foreign keys (ejecución más rápida)
- Forzar comprobación: Valida siempre las foreign keys (consistente pero más lento)
Ajustes del diccionario
Controla la reutilización de valores enmascarados previamente para obtener transformaciones consistentes:
| Modo del diccionario | Descripción |
|---|---|
| Sin diccionarios | No reutiliza transformaciones anteriores |
| Reutilizar valores en la misma entidad+campo | Valores consistentes dentro del mismo campo |
| Reutilizar valores con la misma etiqueta o la misma entidad+campo | Consistentes según la etiqueta o la ubicación del campo |
| Reutilizar valores en todos los campos | Consistencia global en todas las transformaciones |
Opciones del diccionario (deshabilitadas cuando se selecciona "Sin diccionarios"):
- Cachear diccionario: Guarda el diccionario en memoria para acceder más rápido
- Almacenar nuevas transformaciones en el diccionario: Guarda los nuevos valores enmascarados para reutilizarlos en el futuro
- Sobrescribir diccionario existente: Borra el diccionario del proyecto antes de que empiece el job (no cuando se reinicia un job fallido)
- Ignorar los valores ya anonimizados: Solo se muestra en los pipelines Pump y Cargar cuyo destino es Sobrescribir tap. Los valores que el diccionario guarda como valores anonimizados se mantienen tal cual en lugar de volver a anonimizarse. Desactivada por defecto. Consulte Ignorar los valores ya anonimizados
Consulte Diccionario para saber cómo funciona el diccionario.
Opciones de registro
Configure el registro de la ejecución del pipeline:
| Ajuste | Descripción | Opciones |
|---|---|---|
| Nivel de log (tipo de registro) | Nivel de detalle que se muestra en la página de detalles del job | Normal: Registro estándar Depuración: Información de depuración adicional Traza: Máximo detalle para resolver problemas |
| Nivel de logs | Nivel de detalle en los logs del job (un número mayor muestra más trazas) | 1, 2, 3: Niveles numéricos de detalle max: Máximo detalle disponible |
Opciones del dataset (solo operaciones de volcado)
Nombre del dataset
- Nombre del dataset: Nombre personalizado para el dataset creado (campo de texto)
Opciones de cada ejecución (En cada ejecución)
| Modo | Descripción |
|---|---|
| Crear un nuevo dataset | Genera un nuevo dataset con un nombre único en cada ejecución |
| Sobrescribir el mismo dataset | Reemplaza el contenido del dataset existente en cada ejecución |
| Combinar con conjunto de datos | Combina los nuevos datos con un dataset existente (requiere seleccionarlo) |
En el modo de combinación, seleccione un dataset existente con el que combinar los datos.
Paso 3: Programar
Tipo de ejecución
| Tipo | Descripción |
|---|---|
| Ejecución manual | Se ejecuta bajo demanda desde la interfaz web o mediante una llamada a la API |
| Repetir | Ejecución automática según una programación recurrente |
Ejecución manual
- El pipeline se ejecuta cuando el usuario hace clic en el botón Ejecutar de la interfaz web
- También puede lanzarse mediante un endpoint de la API (generado en la gestión de pipelines)
- Sin programación automática
Ejecución repetida
Fecha de la próxima ejecución (opcional)
- Próxima ejecución en: Fecha y hora de la primera ejecución
- Selector de fecha con selección de hora (formato YYYY-MM-DD HH:mm)
- No se pueden seleccionar fechas u horas pasadas
- La validación de la hora impide horas futuras no válidas
Ajustes de recurrencia
- Repetir cada: Valor numérico de la frecuencia (1-365)
- Unidad de frecuencia:
- Hora: Cada X horas
- Día: Cada X días
- Mes: Cada X meses
- Año: Cada X años
Flujo de creación del pipeline
La interfaz ofrece un comportamiento inteligente del formulario:
- Opciones dinámicas: Las secciones de configuración aparecen o desaparecen según el tipo de job seleccionado
- Validación: Los campos obligatorios se validan antes de pasar al siguiente paso
- Reinicio del formulario: Cambiar el tipo de job borra las selecciones dependientes (reglas, sinks, datasets)
- Seguimiento del progreso: La barra lateral muestra el paso actual y permite navegar entre los pasos
- Valores por defecto inteligentes: Valores por defecto adecuados para la mayoría de los ajustes
Después de la creación
Una vez creados, los pipelines aparecen en la lista principal de pipelines con las siguientes opciones de gestión:
- Habilitar/Deshabilitar: Cambia el estado activo
- Ejecutar: Ejecuta inmediatamente (pipelines manuales)
- Compartir: Genera endpoints de la API para la ejecución externa
- Editar: Modifica la configuración del pipeline
- Eliminar: Elimina el pipeline de forma permanente
Ejemplos de configuración de pipelines
Pipeline de masking de datos
- Tipo de job: Pump
- Regla: Regla de transformación de datos
- Destino: Sink (base de datos de pruebas)
- Opciones de Carga: Modo Actualizar
- Transformación: Determinista con semilla para un masking consistente
- Programación: Cada día (para tener datos de prueba recientes)
Pipeline de monitorización del schema
- Tipo de job: Escanear
- No requiere opciones adicionales
- Registro: Modo Depuración para seguir los cambios en detalle
- Programación: Cada hora (monitorización continua)
Pipeline de exportación de datasets
- Tipo de job: Cargar
- Dataset: Dataset de producción existente
- Destino: Sink (sistema de archivos)
- Opciones de Carga: Modo Añadir
- Programación: Manual (exportaciones bajo demanda)