Pipelines
En Gigantics llamamos Pipeline a una plantilla o esquema que permite al usuario ejecutar un job de forma periódica y/o mediante un enlace público.
Crear un nuevo pipeline
Tipos
Al crear un nuevo pipeline, necesitas configurar qué tipo de job deseas que el pipeline ejecute:
- Scan: Escanea la fuente de datos en busca de cambios.
- Discover: Crea un nuevo descubrimiento.
- Crear un dataset usando una regla: Crea un conjunto de datos utilizando una regla existente.
- Cargar usando una regla: Carga el tap en un sink usando una regla (no crea datasets).
- Volcar dataset: Carga un dataset en un sink.
- Bombear el tap: Carga el tap directamente en el sink sin crear datasets ni aplicar reglas.
Programación
Selecciona cuándo se ejecutará el pipeline. Las opciones disponibles son:
-
Ejecución manual: Ejecuta el pipeline cuando el usuario lo decida. Puede ser utilizando el botón
Ejecutaren la página de Pipelines o llamando a la URL. -
Ejecución periódica: Ejecuta el pipeline automáticamente cada X tiempo determinado por el usuario.
API de Pipelines
Los pipelines pueden ejecutarse utilizando el botón Ejecutar o mediante una URL. Para habilitar
este tipo de ejecución remota es necesario gestionar las APIs visibles en el
menú de acciones del pipeline.
Desde la ventana de gestión, el usuario puede crear o revocar las claves. Para usarlas, basta con copiar la clave API e invocarla desde la URL:
El usuario que ejecuta la regla debe tener permisos para editar modelos en el proyecto.
Ejemplos
1- Usar un pipeline para escanear periódicamente la base de datos en busca de cambios en su esquema.
2- Provisión de entornos con datos enmascarados: Usando una regla de transformación y volcando los resultados en un sink periódicamente.
3- Cargar un dataset en tu base de datos de pruebas para ejecutar pruebas unitarias en tu pipeline de CI/CD.