Introducción

¿Qué es Gigantics?

¡Bienvenido a Gigantics! Gigantics es una poderosa plataforma de procesamiento de datos que se ejecuta exclusivamente como una instalación local. Esto significa que tienes control completo sobre tus datos y la infraestructura, sin dependencias en la nube ni transferencias externas de datos.

Gigantics se conecta directamente a tus fuentes de datos (a las que llamamos "taps"), analiza sus esquemas, y luego te ayuda a crear versiones anonimizadas o sintetizadas de esos datos. Puedes luego enviar esos datos procesados a diferentes destinos (a los que llamamos "sinks") - ya sea a la misma base de datos como fuente para actualizaciones, o a diferentes bases de datos para ambientes de prueba, QA, o desarrollo.

Jerarquía de Gigantics

Antes de adentrarnos en taps y sinks, es importante entender la estructura jerárquica de Gigantics. Todo en Gigantics está organizado dentro de esta estructura, con la cual te encontrarás tan pronto comiences a usar la plataforma.

Aprende más sobre cada componente:

  • Organización - Tu espacio de trabajo para organizar proyectos
  • Proyecto - Tu ambiente de procesamiento de datos
  • Tap - Conexiones a tus fuentes de datos
  • Modelo - Contenedor para tus reglas de procesamiento de datos
  • Reglas - Reglas de transformación para anonimato de datos
  • Jobs - Ejecuciones de tus flujos de trabajo
  • Datasets - Colecciones y resultados de datos
  • Sinks - Destinos de datos para salidas procesadas

Organizaciones y Proyectos

Cada usuario tiene su propio espacio al que llamamos Organización, el cual contiene Proyectos. Estos proyectos pueden compartirse con otros usuarios a través de las funciones de configuración del proyecto.

Además, cada usuario puede crear más organizaciones que pueden contener uno o más proyectos.

El proyecto es el espacio de trabajo del usuario. Desde aquí, los usuarios pueden crear modelos, trabajar con bases de datos e invitar a usuarios de sus organizaciones a unirse al proyecto.

Taps / Sinks

En Gigantics, todo gira alrededor de taps y sinks:

  • Taps son conexiones a tus fuentes de datos. Estas pueden ser bases de datos como Oracle, DB2, SQL Server, PostgreSQL, MongoDB, y muchas otras. Aprende más sobre taps y cómo configurarlos.

  • Sinks son conexiones a tus destinos de datos. Aquí es donde se enviarán tus conjuntos de datos procesados. Puedes usar la misma tecnología que tus taps o diferentes. Aprende más sobre sinks y su configuración.

Esta arquitectura te permite: ✅ Extraer datos de bases de datos de producción ✅ Procesar datos sensibles de forma segura en tu entorno local ✅ Cargar conjuntos de datos procesados en bases de datos de prueba, QA, o desarrollo ✅ Mantener control completo sobre tu pipeline de datos

Trabajar en un Modelo

Después de configurar tu organización y proyecto, puedes comenzar a trabajar con modelos de datos en Gigantics. El flujo de trabajo del modelo es donde ocurre la magia en Gigantics. Así es como funciona paso a paso:

1. Definir un Tap

Primero, crearás una conexión a tu fuente de datos. Este es tu tap, el cual le dice a Gigantics cómo acceder a tu base de datos. Aprende más sobre taps

2. Escanear el Esquema

Una vez que tu tap esté configurado, Gigantics escaneará el esquema de tu base de datos para entender su estructura. Esto incluye tablas, vistas, columnas y sus tipos de datos. Documentación de Gestión de Esquemas

3. Ejecutar Discovery

Después del escaneo, puedes ejecutar nuestro proceso de descubrimiento de PII (Información de Identificación Personal). Esto identifica automáticamente campos potencialmente sensibles en tu base de datos usando algoritmos avanzados. Documentación de Descubrimiento de PII

4. Crear Conjuntos de Datos con Reglas

Con tu esquema comprendido y campos sensibles identificados, puedes crear conjuntos de datos escribiendo reglas que determinen:

  • Qué datos incluir o excluir
  • Cómo anonimizar campos sensibles
  • Cómo sintetizar nuevos elementos de datos
  • Qué transformaciones aplicar

Documentación de Creación de Conjuntos de Datos

Aprende a Configurar Jobs

Los trabajos son instancias ejecutadas de tus flujos de trabajo de procesamiento de datos. Entender cómo configurar y gestionar trabajos es clave para obtener el máximo provecho de Gigantics:

Pasos de Configuración de Jobs

  1. Crear un Pipeline: Define tu flujo de trabajo de procesamiento de datos que conecta taps con sinks. Configuración de Pipelines

  2. Programar o Activar Jobs: Ejecuta tus pipelines manualmente o configura agendas automatizadas. Gestión de Jobs

  3. Monitorear Ejecución: Rastrea el progreso y resultados de tus trabajos, incluyendo estado de éxito o fallo.

  4. Revisar Salidas: Verifica que tus conjuntos de datos procesados se hayan cargado correctamente a tus sinks.

Mapa de Ruta de la Documentación para Comenzar

Para dominar cada aspecto de Gigantics, recomendamos leer estos documentos en orden:

  1. Resumen de Organizaciones - Aprende a configurar tu espacio de trabajo
  2. Resumen de Proyectos - Entiende tu ambiente de procesamiento de datos
  3. Resumen de Taps - Aprende cómo conectarte a tus fuentes de datos
  4. Gestión de Esquemas - Entiende cómo Gigantics lee las estructuras de tus bases de datos
  5. Descubrimiento de PII - Observa cómo se identifican automáticamente datos sensibles
  6. Conjuntos de Datos - Aprende a crear y gestionar conjuntos de datos
  7. Pipelines - Configura tus flujos de trabajo de procesamiento de datos
  8. Jobs - Ejecuta y monitorea tus procesos de procesamiento de datos

Gigantics te da control completo sobre tu ciclo de vida de datos mientras asegura que la información sensible esté adecuadamente protegida. Ya sea que necesites anonimizar datos de producción para pruebas o sintetizar conjuntos de datos completamente nuevos, Gigantics proporciona las herramientas para hacerlo de forma segura en tu entorno local. Comenzarás creando una organización y proyecto, luego definirás tus taps para extraer datos, trabajarás con modelos para procesarlos, y finalmente configurarás sinks para cargar tus datos anonimizados o sintetizados donde los necesites.