ETL

¿Qué es un ETL?

Para el desarrollo de un DW, los datos pasan a través del proceso de Extracción, Transformación y Carga (ETL, por sus siglas en inglés), el módulo de extracción inicia con un análisis de las fuentes de datos internas y externas de la organización, a partir del cual se selecciona el conjunto de datos a ser extraídos; el módulo de transformación consiste en someter los datos seleccionados a un proceso de limpieza, homogenización, estandarización y estructuración para convertirlos en datos de calidad; finalmente, el módulo de carga consiste en organizar los datos al interior del DW, de acuerdo a su nivel de granularidad. El objetivo del proceso ETL es tener un diseño que permita la consulta eficiente y dinámica de la información, de manera que sirva de soporte a la toma de decisiones.

SQL Server Integration Services

SQL Server Integration Services (SSIS) es una plataforma para crear soluciones de integración y transformación de datos a nivel empresarial. Se utiliza SSIS para resolver problemas comerciales complejos al copiar o descargar archivos, cargar almacenes de datos, limpiar y extraer datos y administrar objetos y datos de SQL Server.

Los paquetes SSIS son archivos con extensión .DTSX, el cual contienen instrucciones ejecutar tareas de SQL o tareas de flujo de datos. Estos paquetes SSIS pueden ser ejecutados por la herramienta de SQL Server Agent, así como programar su ejecución periódica.

SQL Server Agent

El Agente SQL Server es un componente de Microsoft SQL Server que programa trabajos y maneja otras tareas automatizadas. Se ejecuta como un servicio de Windows, por lo que puede iniciarse automáticamente cuando se inicia el sistema o puede iniciarse manualmente.

SSIS & Visual Studio

Visual Studio es un IDE (Entorno de Desarrollo Integrado)

Se utiliza para desarrollar programas informáticos, así como sitios web, aplicaciones web, servicios web y aplicaciones móviles.

VS se pueden implementar herramientas y extensiones para trabajar con diferentes paquetes, con la instalación de SSIS se pueden generar paquetes para el proceso de integración de datos del DW.

Se utilizó la herramienta de Visual Studio para desarrollar los paquetes SSIS.

Guía

En los siguientes apartados se muestra el proceso de configuración y Scripts utilizados para el proceso ETL.

Visual Studio Instalación y configuración de Visual Studio para trabajar con SSIS.

SSIS Query de SQL, así como el proceso de las tareas de flujo de datos.

SQL Server Agent Configuración de SQL Server Agent y ejecución de los paquetes SSIS.