S I N S A C
  • Consultas
    • Integradas
    • Dinámicas
  • Reportes
    • INEGI
  • Documentación

    Documentación
  • Inteligencia de negocios
  • Almacén de datos
  • ETL
    • General

    • Visual Studio
    • SSIS
    • SQL Server Agent
  • API
    • General

    • Integradas
    • Dinámicas
  • Glosario
  1. Inicio
  2. Documentación
  3. ETL
  4. SSIS

Guía de creación de paquetes SSIS.

La siguiente guía es la utilizada para el desarrollo de SINSAC.

Si la resolución de las imágenes no es nítida, hacer clic derecho y “abrir imagen en una nueva ventana”.

Creación de paquetes SSIS

Es importante tener las conexiones con nuestras BD correspondientes, en este caso SQL Server y PostgreSQL.

VS Installer

Hacer clic derecho sobre la carpeta "Paquetes SSIS" y "Nuevo paquete SSIS".

VS Installer

Crear los paquetes necesarios para el proyecto, en este caso se crean 3 paquetes para la integración de datos y uno adicional para la actualización de los reportes de la DCEC.

VS Installer

El paquete de "Preparación de datos" servirá para seleccionar, transformar y adecuar los datos seleccionados de la BD de Catastro en SQL Server.

El paquete de "Transferencia" servirá para enviar los datos ya estandarizados de SQL Server a nuestro DW en PostgreSQL.

El paquete de "Limpieza del proceso" servirá para eliminar las tablas creadas en el primer paquete y dejar la BD SQL Server disponibles para la siguiente actualización.

El último paquete "actualización de reportes" servirá para actualizar los reportes de la DCEC que se encuentran en los archivos .CSV.

Preparación de datos

Configuración del primer paquete SSIS. En este paquete solo se trabajará con la conexión de SQL Server.

La selección, limpieza, homogenización y estandarización de datos se realizan en la BD de SQL Server, se crean nuevas tablas con los datos correspondientes, es decir se crean copias de las tablas candidatas.

Los orígenes de datos no deben modificarse ni alterar.

Se puede exportar a otra BD auxiliar, o trabajar en la BD original, pero al final del proceso se debe hacer limpieza y eliminación de las tablas creadas durante este proceso.

Al crear un nuevo paquete, aparecerá una venta como se muestra a continuación, en el apartado de "SSIS Toolbox" por default en favoritos vienen dos tareas: "Ejecutar tareas SQL" y "Tareas de flujo de datos". Estas son las dos tareas para el proceso de ETL.

VS Installer

En el apartado de "Otras tareas" vienen más herramientas que se pueden incorporar. Una de estas herramientas es usada en el paquete de "actualización de reportes".

Seleccionar “Ejecutar tareas SQL” y arrástralo al área de “Control de flujo” de nuestro paquete.

VS Installer

Al hacer doble clic sobre nuestra “Tarea” se abrirá la siguiente venta. En ella podemos configurar la tarea. Agregar un nombre y una descripción de acuerdo a la tarea que ejecutará.

VS Installer

El apartado más importante se encuentra en “SQL Statement”, en las configuraciones “Connection type”, “Connection” y “SQL Statement”.

VS Installer

Agregar el tipo de conexión, por default la herramienta nos muestra en “Connection type” la conexión "OLE DB", cambiar a "ADO.NET", en “Connection” nos mostrará las conexiones que hemos creado con SQL Server y PostgreSQL.

VS Installer

En “SQL Statement” se agregarán las consultas en LDM y DDL en lenguaje SQL.

Data Manipulation Language (DML) o Lenguaje de manipulación de datos corresponden a los comandos SQL de SELECT, INSERT, UPDATE y DELETE y se ocupan de la manipulación de los registros de datos almacenados en las tablas de la base de datos. No se ocupa de los cambios en los objetos de la base de datos y su estructura.

Data Definition Language (DDL) o lenguaje de definición de datos se utilizan para describir/definir el esquema de la base de datos y corresponden a los comandos SQL de CREATE, ALTER y DROP.

Hacer clic sobre los tres puntos "..." de “SQL Statement” y se abrirá una nueva ventana

VS Installer

En esta ventana ira la consulta DDL o DML de acuerdo a las tareas correspondientes.

la consulta SQL sebe ser de acuerdo al SGBD.

VS Installer

Agregar todas las tareas y hacer la configuración correspondiente a cada tarea de “Ejecutar tareas SQL”.

VS Installer

Si existe algún error, las tareas aparecen con una "x", si se hizo la configuración correctamente no aparece el error.

Al seleccionar una tarea, aparecerá una flecha verde, esta indica el orden de ejecución de las tareas, al terminar una tarea continuará con la tarea siguiente.

Unir las tareas con el orden correspondiente como se muestra a continuación.

VS Installer

Unir las tareas con el orden correspondiente como se muestra a continuación.

VS Installer

Es necesario en este proceso limpiar el almacén de datos. Se debe primero eliminar las llaves primarias con “ALTER TABLE [TABLA] DROP CONSTRAINT [nombre_llave_foranea];” y eliminar los datos de las tablas con la sentencia “TRUNCATE TABLE [TABLA] RESTART IDENTITY;”.

VS Installer

Transferencia de datos a PSQL

Configuración de los paquetes SSIS para la transferencia de datos de SQL Server a PostgreSQL.

Para transferir los datos de SQL server a PostgreSQL se hace uso la tarea de "Tarea flujo de datos". Seleccionar la tarea y arrastrarlo al de "flujo de datos".

VS Installer

Al hacer doble clic sobre la "Tarea flujo de datos", se cambiará a la ventana de "flujo de datos". La barra parte izquierda de "Caja de herramientas SSIS" aparecerán nuevas opciones para la transferencia de datos.

VS Installer

En la caja de herramientas de SSIS, existen diferentes herramientas que se pueden utilizar, para transferir datos de SQL Server a PostgreSQL solo se necesita las opciones de "ADO NET Source" que se encuentra en "Otros orígenes" y "ADO NET Destination" en el apartado de "Otros destinos"

VS Installer

Se utiliza "ADO NET" por los tipos de conexiones que se tienen en el "Gestor de conexiones".

Agregar "ADO NET Source" que corresponde al origen de datos de la BD de SQL Server y un "ADO NET Destination" para el destino de los datos en PostgreSQL.

Al seleccionar "ADO NET Source", aparecerán dos flechas de color rojo y azul, la flecha azul debe conectarse a "ADO NET Destination".

VS Installer

Primero hay que configurar y seleccionar los orígenes de datos, hacer doble clic sobre “ADO NET Source”. Se abrirá una ventana donde nos aparecerá “ADO.NET connection manager”, aquí nos aparecerán las dos conexiones y seleccionar el origen de datos, en este caso nuestra conexión a SQL Server.

VS Installer

Después de seleccionar el origen de datos, nos da dos opciones de datos, seleccionar una tabla o vista y la segunda opción es seleccionar los datos mediante una consulta.

VS Installer

Para construir este proyecto, algunas dimensiones se selecciona la tabla completa y las demás se hace mediante una consulta SQL.

Seleccionar las dimensiones y jerarquías correspondientes al proyecto.

VS Installer

Cambiar el modo de “Comando SQL” y escribir la consulta correspondiente.

VS Installer

En la parte izquierda cambiar a “Columnas”, y nos aparecerá las columnas seleccionadas de nuestra tabla. Es necesario hacer este paso para que VS pueda reconocer las columnas.

VS Installer

Hacer clic sobre el botón “Ok”, si la configuración ha sido correcta, aparecerá sin la “x” el “ADO NET Source”.

VS Installer

El siguiente paso es configurar el “ADO NET Destination”, es importante primero haber configurado el “ADO NET Source”. Hacer doble clic sobre “ADO NET Destination” y se abrirá una venta parecida al paso anterior. En este paso se selecciona el destino de los datos, para este proyecto se selecciona el destino de PSQL.

VS Installer

Para el siguiente paso, según la versión y las configuraciones, pueden aparecernos las tablas que tenemos en el almacén, si este es el caso, primero crear las tablas en el almacén y solo seleccionar las tablas correspondientes.

agregar img

En caso contrario hay que agregar el código para crear una tabla con la dimensión. Hacer doble clic sobre “New”.

VS Installer

Nos mostrara un mensaje, solo hacer clic en "Aceptar".

VS Installer

Por default VS nos creara un comando para crear una tabla, pero este es bajo la sintaxis de SQL Server, borrarlo y copiar el comando que esta en la documentación.

La sintaxis de un comando SQL puede varias de un gestor de base de datos a otro, como es el caso de SQL Server y PostgreSQL.

VS Installer

Cambiar el comando SQL para crear una tabla y hacer clic sobre el botón “Ok”.

VS Installer

Nos debe aparecer el nombre de nuestra tabla, ahora hay que hacer clic en la parte izquierda sobre “Ma ppings” para que relacione las columnas de origen con las columnas destino

VS Installer

Si todo se ha configurado correctamente, debería aparecer relacionadas las columnas de origen con de destino. Hacer click sobre el botón "Ok" para guardar los cambios.

Si las columnas y tablas son diferentes a las imágenes anteriores, es solo representativo y se tomaron como ejemplos otras dimensiones.

VS Installer

Si se ha configurado correctamente las tareas del origen y el destino de datos, las tareas deben aparecer sin la “x”.

Se puede realizar una prueba para comprobar que todo funciona haciendo clic sobre el botón verte en la parte superior que dice “Start”. Este botón ejecutará la tarea de flujo de datos.

VS Installer

Si todo funciona correctamente, aparecerá una nueva ventana y los proceso con un círculo verde con el símbolo de verificado.

En caso contrario aparecerá un circulo rojo con un signo de “x”. Esto puede ser a una mala configuración.

VS Installer

Agregar las tareas de flujo de datos para todas las dimensiones, jerarquías y tablas de hechos. Así como su configuración correspondiente.

A comparación de las tareas de comando de SQL, las tareas de flujos se puede poner en un solo paquete.

VS Installer

Limpieza y configuraciones finales

Es necesario eliminar las tablas creadas para el proceso de integración y ETL, para este proyecto se crean tablas para este procedimiento en el origen de datos, es decir en SQL Server.

Al igual que en el primer paquete, agregar “Tareas de comandos SQL” y poner las consultas para eliminar las tablas en SQL Server que se crearon en el primer proceso.

VS Installer

Según la versión del servidor de SQL, la sentencia “DROP TABLE IF EXISTS [tabla];” puede funcionar, si no quitar “IF EXISTS” y eliminar con las tablas con la siguiente sentencia “DROP TABLE [tabla];”.

Agregar otra “Tareas de comandos SQL” para crear las llaves primarias a las dimensiones y jerarquías, así como llaves foráneas y las relaciones en el almacén de datos.

VS Installer
  • Instituto para el Registro del Territorio del Estado de Colima | Dirección de Catastro | Tecnológico Nacional de México Campus Colima

Última actualización del almacén de datos 2022-08-12 01:05:18.374205

SINSAC LOGO

Desarrollado con

Dirección de Catastro del Estado de Colima
  • Calzada Galván esquina con Aldama S/N, C.P. 28010, Colima, Colima, México

  • 312 31 39 290 / 312 31 31 814

GOB LOGO
  • © 2022
  • Política de privacidad
  • Acerca de