Integración de datos (Data Integration)

Índice:

1. ¿Qué es la integración de datos?
   1. ¿Para qué sirve?
2. Retos de la integración de datos
   1. Diseño integración
   2. Dificultades de implementación
   3. Gran inversión
3. Formas de integrar

¿Qué es la integración de datos?

La integración de datos, data integration, consiste en la recopilación de datos desde las distintas fuentes empresariales para asegurar tener datos completos y precisos. La integración permite consolidar datos de diferente índole (estructurados, no estructurados, en streaming, etc.). Así, las empresas se aseguran que se pueda realizar cualquier operación empresarial, como consultar en las bases de datosUna base de datos es una herramienta que recopila datos, los organiza y los relaciona para que se pueda hacer una rápida búsqueda y recuperar con ayuda de un ordenador. Hoy en día, las bases de datos también sirven para desarrollar análisis. Las bases de datos más modernas tienen motores específicos para sacar informes de datos complejos. o hacer analíticas complejas.

Según un artículo publicado en el Harvard Business Review sólo el 3% de los datos empresariales cumplen con los estándares básicos de calidad.

La integración de los datos se puede hacer de forma manual, pero en el momento que se llega a cierto volumen, este tipo de integración se vuelve insostenible incluso para las pequeñas empresas. Por ello, hay muchos fabricantes de software que ofrecen plataformas de integración de datos para facilitar esta labor. Algunos de estos software son Oracle Data Integration Suite, IBM Cloud Pack for Integration, y SAP Cloud Platform Integration Suite.

¿Para qué sirve el data integration?

Con la llegada del internet y el auge de la tecnología, los datos no sólo son cada vez más voluminosos, sino que también suelen estar esparcidos en diferentes sistemas. Los motivos más comunes por los que una empresa hace una integración de datos son los siguientes:

1. Creación de data lakes: algunas empresas desean tener un data lake (lago de datos) donde almacenar todos sus datos empresariales. Los datos dentro de un lago de datos se encuentran en un formato natural, sin procesar, generalmente como blobsBLOB son las siglas de Binary Large Object o, en español, objeto binario grande. Es un término que se usa para almacenar un elemento grande de datos en una base de datos que está en código binario. Este código binario es legible para el software, pero para las personas sólo parece una combinación (larga) de dos caracteres diferentes, tradicionalmente 0 y 1. de objetos o archivos.
2. Gestión de datos maestros y consistencia de datos: la integración de los datos también es muy usada para asegurar la conexión de entidades y dominios empresariales (como clientes, proveedores, personal, producto, etc.). Al integrar los datos se hace posible acceder a la información y sincronizar los procesos y, así, mejorar la gestión de datos maestrosLa gestión de datos maestros (Master Data Management, MDM) se encarga de que todos los datos empresariales se almacenen y gestionen centralmente. La información disponible sobre un producto, proceso, cliente o servicio se encuentra, por así decirlo, en un archivo maestro. Si se cambia algo en alguna parte del sistema, también se incluye este cambio automáticamente en otros sistemas. De esta manera se evita la fragmentación de la información y no hay ni un sólo sistema con datos desactualizados.. Asimismo, también aumenta la consistencia a nivel de base de datos entre aplicaciones.
3. Migración (migration): cuando se va a realizar una migración de datosUna migración de datos (data migration) es el proceso por el cual se traspasan los datos de un sistema a otro. Las empresas realizan migraciones de datos por distintos motivos, como: cuando se cambia de software o se implementa uno nuevo; cuando se actualizan las bases de datos; o cuando se establece un nuevo almacén de datos. Así, se consigue que los datos del antiguo programa se encuentren en el nuevo para poder seguir operando como si no hubiera sucedido ningún cambio ni teniendo que empezar de cero. de una solución empresarial a otra, se realiza una integración de datos. Esto se debe a que se tiene que realizar el proceso de ETL (extracción, transformación y carga de los datos) hacia el nuevo sistema.
4. Replicación de bases de datos (data replication): la replicación de la base de datosUna base de datos es una herramienta que recopila datos, los organiza y los relaciona para que se pueda hacer una rápida búsqueda y recuperar con ayuda de un ordenador. Hoy en día, las bases de datos también sirven para desarrollar análisis. Las bases de datos más modernas tienen motores específicos para sacar informes de datos complejos. es muy importante, ya que así las empresas mejoran la disponibilidad, consistencia y accesibilidad de los datos. Esto se debe a que si hay incidencia en alguna base de datos, el sistema redirigirá a los usuarios afectados a la otra base de datos que contiene los datos replicados.
5. Almacenamiento de los datos de diferentes fuentes en un almacén de datos o en data center: las empresas ponen sus datos en un almacén de datosEn su significado original, el almacén de datos significa puramente el almacenaje de la información. No obstante, la descripción original de Bill Inmon, el padre del almacén de datos, dice lo siguiente: “el almacén de datos consiste en la recopilación de datos orientados, integrados, dependientes del tiempo, que suponen la base de las decisiones de gestión» (Inmon, 1992 – traducción propia). o en data servicesUn data service (servicio de datos) es una plataforma middleware que funciona como capa de almacenamiento y estructuración de datos procedentes de diferentes fuentes. Es decir, un data service sirve para extraer los datos de las distintas fuentes y almacenarlos en una ubicación central, donde se les proporciona una estructura basada en entidades como: dirección; nombre; apellido; teléfono; etc. Las distintas fuentes de datos pueden ser: base de datos, softwares, web services, internet de las cosas (IoT), servidores, etc. para que haya interoperabilidad entre los distintos sistemas de la empresa. De esta forma, la empresa se asegura que haya una sincronización de los datos de los diferentes sistemas, evitando que los empleados tengan que insertar los mismos datos en diferentes aplicaciones.
6. Preparar los datos para sistemas de BI: los sistemas de BILa Inteligencia de Negocios (Business Intelligence, BI) se basa en el análisis de datos de la información de la compañía. Con esos datos se intenta obtener información valiosa para tomar decisiones comerciales estratégicas y operativas (información comercial). Generalmente, los datos en “bruto” provienen de los diferentes softwares de la compañía, tales como ERP, RRHH, gestión documental u otro software especializado. Los datos en bruto son: datos de ventas, tendencias del mercado, resultados financieros, etc. necesitan poder tomar los datos de fuentes que tengan un formato concreto. Por ello, muchas empresas hacen uso de los data services de sus soluciones de BI para asegurarse que los datos estén en el formato correcto. Algunos de ejemplos de estos data services son Microsoft DataverseMicrosoft Dataverse, antes conocido como Common Data Service (CDS), es un data service que almacena y estructura datos empresariales de procesos y aplicaciones interconectadas dentro de la Power Platform de Microsoft. Las aplicaciones del entorno Microsoft pueden recopilar sus datos centralmente en Dataverse, lo cual sirve para evitar duplicidades de datos y crear aplicaciones, generar informes, establecer flujos de trabajo, entre otras funciones sin tener que ir importando datos., que se usa para las aplicaciones gestionadas en PowerApps, como PowerBIPower BI es una solución de inteligencia de negocios (Business Intelligence, BI) de Microsoft que sirve para analizar datos empresariales. Los datos son sacados de los almacenes de datos, bases de datos, redes sociales, Common Data Service, tablas de Excel o cualquier sistema que contenga datos de la organización. Este tipo de solución suele ser usada por analistas de datos o por profesionales de inteligencia empresarial, pero también la pueden usar usuarios que desean hacer informes más dinámicos., o SAP Data Center, que es usado por sistemas como SAP BusinessObjectsSAP BusinessObjects BI Suite (SAP BO) es una plataforma on-premise de SAP de inteligencia de negocios (Business Intelligence, BI) para la creación de informes, visualización en cuadros de mando, exploración y análisis de datos empresariales. Para conectarse con las diferentes fuentes y bases de datos (de dentro y de fuera del entorno SAP), SAP BusinessObjects lo hace a través de Data Services (servicios de datos) o de la herramienta Information Design Tool (IDT). La IDT es una herramienta de diseño de universos. Gracias a estas herramientas, el usuario puede interactuar con los datos sin que necesite saber de lenguaje SQL, ni de qué base de datos proceden, ni qué estructura tienen. o SAP Analytics CloudSAP Analytics Cloud (SAC) es una herramienta en la nube de inteligencia de negocios (BI), predicción y planificación analítica. Es decir, esta solución no sólo ayuda a visualizar la situación actual de la empresa, sino que también permite realizar predicciones y planificaciones estratégicas empresariales con ayuda de la inteligencia artificial (AI) y del machine learning..

Retos de la integración de datos

La integración de datos es un proceso complicado. Por ello, es recomendable estudiar muy bien por qué y cómo se va a hacer. Además, cuando una empresa se plantea hacer una integración de datos se encuentra con los siguientes retos:

Hay que hacer un diseño concienzudo de la integración

Lo primero que hay que hacer al empezar un proyecto de integración de datos es hacer un análisis de los requisitos. El análisis de estos requisitosUn análisis de requisitos consiste en la recopilación de las necesidades de una empresa para ponerle solución. Para ello, se ha de hacer un estudio interno de la situación actual de la empresa y las problemáticas a las que se enfrenta. Dependiendo del conocimiento e indagación que se haya hecho del problema, el análisis será más o menos complicado. debe ser tanto: funcionales (por qué se quiere hacer, qué objetivos y resultados se quieren obtener con la integración); y los no funcionales (cuántos usuarios harán uso de los datos integrados, cuál es el máximo de tiempo que se ha de tardar en el procesamiento datos, mejorar la política de seguridad de datosLa seguridad TIC, o Information Technology Security (IT security) en inglés, se encarga de implementar las medidas de seguridad para proteger la información usando diferentes tipos de tecnología. La seguridad TIC protege los datos empresariales, que comprenden tanto los de formato electrónicos como en papel.).

La implementación no es tarea fácil

Una vez realizado el análisis de los requisitos es importante hacer un estudio de factibilidad para elegir una herramienta de integración de datos. La elección de la herramienta también dependerá del propósito que se desea conseguir. Por ejemplo, no se escogerá la misma herramienta si se quiere obtener un ecosistema más escalable porque la empresa está creciendo, que si lo que se quiere es que haya una reducción en el coste de implementación de una herramienta o de licenciasLas licencias de software son unos contratos en los que el usuario acepta los términos y condiciones del fabricante para poder hacer uso del software. Las licencias que se adquieran (independientemente de si son de pago o gratuitas) serán más restrictivas o menos. Dependiendo de si el software es libre o propietario, estos términos y condiciones serán más restrictivos o menos..

Además, también suele ocurrir que algunos datos están muy vinculados al sistema en el que se creó. Esto pasa en sistemas que tienen ya cierto tiempo. Generalmente, estos datos suelen ser más difíciles de integrar debido a esta vinculación exclusiva a su sistema, por lo que no son fáciles de extraer para otras áreas de la empresa. Asimismo, durante la implementación, en muchos casos, será necesario realizar un trabajo de transformación de los datos (data modeling) para que se ajuste al modelo central de los datos, ya sea un almacén de datos o un data center. Algunos de estos aspectos son de carácter semántico, porque pueden surgir alertas de error si se guardan datos integrados en un formato que no se debe. Por ejemplo, si normalmente se guarda la fecha como dd/mm/aaaa y algunos empleados la escriben como aaaa/mm/dd, la fecha puede traspasarse en el formato incorrecto al integrarse los datos.

Una integración requiere una gran inversión

Una vez escogida la herramienta o plataforma de integración hay que tener en cuenta que son muy difíciles de usar. Eso significa que la empresa tendrá que contratar a un especialista para hacer el trabajo de integración. Contratar a personal de este tipo no resulta nada barato. Además, también habrá gastos de inversión de capital (el coste de la herramienta de integración, si se tuvo que comprar hardwareUn hardware es el componente material que conforma un equipo informático, es decir, todo aquello que se puede tocar, como por ejemplo: la pantalla, el ratón, el teclado, etc. Esto actúa en contraposición al software, que se refiere al componente lógico de un equipo informático (todos los componentes que no se pueden tocar pero que hacen posible la realización de tareas específicas): sistema operativo, procesadores de texto, etc. Gracias a la combinación de software y hardware, un equipo informático funciona correctamente. o algún otro sistema para hacer la integración) y los gastos operativos. A dichos costes, también hay que sumarle los gastos de hospedaje, de mantenimiento, soporte y gestión de la infraestructura necesaria.

Formas de llevar a cabo la integración de datos

Dependiendo de las necesidades, deseos y requisitos de la empresa, la integración de los datos se hará de una forma u otra. A continuación se enumeran las formas más conocidas para la integración de datos:

• Integración manual (Manual data integration): la persona que se va a encargar de la integración de los datos tendrá que recopilar y limpiar los datos de las distintas fuentes y después combinarlos dentro de un mismo almacén. Este tipo de integración sólo puede darse en empresas muy pequeñas que tienen muy pocos datos. Esto se debe a que requiere mucho tiempo, por lo que resulta ser un poco ineficiente y, también, porque pueden cometerse errores humanos al hacer la integración. El lenguaje que se usa para hacer este tipo de codificación es el SQL.
• Integración con uso de middleware (Middleware data integration): el middlewareUn middleware es un software que permite que las aplicaciones de un sistema se comuniquen entre sí y, también, con otros paquetes de software, con el sistema operativo y con elementos hardware. Es, por tanto, un software que se encarga de conectar entre sí otros software para que éstos interactúen cuando se necesite, produciéndose un traspaso de datos de uno a otro. ayuda a normalizar los datos de acuerdo a la aplicación de destino para que puedan ser usados. Este tipo de integración se suele usar cuando hay un sistema heredadoUn sistema legacy (del inglés legacy system) o sistema heredado es aquel software que ya ha llegado a su fin de vida. Es decir, el sistema legacy es aquel que ya no tiene mantenimiento, ni soporte, ni recibe actualizaciones. Una vez que el sistema llega a su fin de vida útil, se convierte en un sistema legacy. Además, los fabricantes y proveedores de la solución ya no dan mantenimiento ni servicio. Por tanto, el sistema queda a total responsabilidad de la empresa. Con un buen equipo informático, se puede conservar el sistema durante un tiempo, pero una empresa no puede ni debe quedarse con un sistema legacy por siempre.   (legacy system), ya que debido a su antigüedad no suele encajar bien con el resto de sistemas. Por ello, al usar un middleware, se facilita la integración de los datos procedentes de este sistema en otros.
• Integración a partir de aplicaciones (Application-based integration): este tipo de integración sólo es posible cuando la integración se va a realizar entre una cantidad no muy numerosa de aplicaciones. Esto se debe a que la herramienta de integración que haga este tipo de integración será un software que localiza, extrae e integra los datos desde las distintas fuentes. También, por ello, es necesario que las diferentes fuentes sean compatibles entre sí, ya que no siempre se incluye la parte de transformación de los datos.
• Integración de acceso uniforme (Uniform access integration): en este tipo de integración los datos se mantienen en la fuente original de los datos. Sin embargo, se crea una interfaz para que los datos parezcan coherentes cuando se accede a los datos desde otras fuentes. Por ejemplo, este tipo de integración pueden emplearse en los sistemas de gestión de base de datos orientados a objetos porque así se genera una apariencia de uniformidad entre las distintas bases de datos.
• Integración de almacenamiento común (Common storage integration): esta integración consiste en hacer una copia de los datos de las diferentes fuentes en un almacén de datos o data service. De esta forma, se consigue una visión unificada. Por tanto, esta forma de integrar es opuesta a la integración de acceso uniforme, ya que los datos se guardan como copia en otro sistema, no únicamente en la fuente original de cada uno de los datos.

Algunas de estas formas, como la integración a partir de aplicaciones o la de almacenamiento común, se apoyan en herramientas de procesos de ETLEl proceso de ETL (Extract, Transform and Load - Extraer, Transformar y Cargar) consiste en extraer los datos de las fuentes originales para transformarlos y adecuarlos para que se puedan cargar bien en el nuevo sistema donde se van a almacenar. para hacer la integración de datos. Este proceso consiste en extraer los datos del sistema de origen, transformarlos para que sean compatibles en el sistema y de acuerdo a la forma empresarial establecida y, finalmente, se cargan los datos en el sistema de destino.