Migración de datos

Índice:

1. ¿Qué es una migración de datos
2. Fases de ETL
   1. Extracción
   2. Transformación
   3. Carga
   4. Al momento de migrar
3. Tipos de migraciones
4. Problemas comunes en una migración

¿En qué consiste una migración de datos?

Una migración de datos (data migration) es el proceso por el cual se traspasan los datos de un sistema a otro. Las empresas realizan migraciones de datos por distintos motivos, como: cuando se cambia de softwareUn software es el componente lógico del que está constituido un equipo informático. Es decir, se trata de una herramienta que está formada por todos los componentes del sistema que no se pueden tocar, pero que hacen posible la realización de tareas específicas, como por ejemplo: procesadores de texto, hojas de cálculo, editores de imágenes, sistema operativo, etc. o se implementa uno nuevo; cuando se actualizan las bases de datosUna base de datos es una herramienta que recopila datos, los organiza y los relaciona para que se pueda hacer una rápida búsqueda y recuperar con ayuda de un ordenador. Hoy en día, las bases de datos también sirven para desarrollar análisis. Las bases de datos más modernas tienen motores específicos para sacar informes de datos complejos.; o cuando se establece un nuevo almacén de datosEn su significado original, el almacén de datos significa puramente el almacenaje de la información. No obstante, la descripción original de Bill Inmon, el padre del almacén de datos, dice lo siguiente: “el almacén de datos consiste en la recopilación de datos orientados, integrados, dependientes del tiempo, que suponen la base de las decisiones de gestión» (Inmon, 1992 – traducción propia).. Así, se consigue que los datos del antiguo programa se encuentren en el nuevo para poder seguir operando como si no hubiera sucedido ningún cambio ni teniendo que empezar de cero.

Según un estudio de Gartner de 2020, el 83% de las migraciones de datos fallan o se exceden en el tiempo.

Al migrar datos hay que prestar mucha atención porque es un proceso bastante delicado. La empresa debe asegurarse de tener todos los datos necesarios en el nuevo sistema y en un formato usable. Si la migración de los datos se hace exitosamente, se puede ahorrar dinero y tiempo en la implementación del nuevo software. La Guía ERPLa Guía de ERP contiene información esencial para los jefes de proyectos que se están orientando sobre la adquisición de un (nuevo) paquete de software de ERP. Dentro encontrará, entre otras cosas: precios, comparación de soluciones, funcionalidades, consejos e importantes errores comunes. explica cómo proceder en una migración para ahorrar dinero y tiempo al implementar.

Las fases del proceso de ETL

Para realizar la migración hace falta preparar los datos para hacer un proceso de ETL (Extract, Transform and Load; extracción, transformación y carga). Como indican las siglas, el proceso de ETL consiste en extraer los datos de las fuentes originales para transformarlos y adecuarlos para que se puedan cargar bien en el nuevo sistema donde se van a almacenar.

Las diferentes fases del proceso ETL aseguran que la totalidad de los datos a migrar lleguen a su punto final de forma correcta. Cada fase se ocupa de una tarea:

Extracción (Extract)

Se extraen los datos de las fuentes (tanto los datos estructurados como los desestructurados). Estos datos pueden proceder de: bases de datos existentes y sistemas legales; entornos en la nubeLa nube (o cloud, en inglés) hace referencia a una nueva forma de implementación y de uso de software en las empresas, con el propósito de que todos los datos y aplicaciones se conviertan poco a poco en servicios online. Este modelo ha creado el concepto de movilidad total, otorgando al usuario la posibilidad de acceder a su información desde cualquier parte del mundo, con la única limitación de disponer de un dispositivo con acceso a internet., híbridosUna nube híbrida es aquella que combina nubes públicas con privadas dentro de su infraestructura informática. Normalmente, cada uno de los servicios de la nube integrados dentro de una nube híbrida tiene una función distinta. En este caso, la nube privada puede ser utilizada para datos más sensibles o que requieren acatar leyes como la LOPD y la nube pública la que se utiliza de soporte a la nube privada. y on-premiseEl término on-premise o en local se refiere al tipo de instalación de una solución de software. Esta instalación se lleva a cabo dentro del servidor y la infraestructura (TIC) de la empresa. Es el modelo tradicional de aplicaciones empresariales. Con el modelo on-premise, la empresa es la responsable de la seguridad, disponibilidad y gestión del software. Por lo que la empresa debe tener un departamento de sistemas que dedique parte de sus recursos a la gestión de la infraestructura in situ.; softwares; almacenes de datos; y/o herramientas analíticas (por ejemplo, sistemas de BILa Inteligencia de Negocios (Business Intelligence, BI) se basa en el análisis de datos de la información de la compañía. Con esos datos se intenta obtener información valiosa para tomar decisiones comerciales estratégicas y operativas (información comercial). Generalmente, los datos en “bruto” provienen de los diferentes softwares de la compañía, tales como ERP, RRHH, gestión documental u otro software especializado. Los datos en bruto son: datos de ventas, tendencias del mercado, resultados financieros, etc.).

Transformación (Transform)

La fase de transformación ayuda a mejorar la integridad de los datosSe entiende por integridad de los datos a que estén correctos, exactos, completos y que sean fiables. Es decir, los datos están íntegros cuando no están duplicados, ni incompletos, ni incorrectos, ni alterados. y a asegurar que los datos llegarán a su nuevo destino en un formato compatible y listo para usar. Por eso, esta fase esta compuesta por subprocesos como:

• limpieza de datos, identificando y solucionando las anomalías, inconsistencias y los valores faltantes;
• estandarización de los datos aplicando normativas (legales y de la propia empresa) al conjunto de datos, tanto de formateo como otras adicionales u opcionales para la mejora de la calidad de los datos;
• eliminación de duplicados;
• clasificación de los datos según las categorías establecidas por la empresa;
• otros subprocesos: dependiendo de los requerimientos del nuevo sistema y/o de la empresa se puede necesitar llevar a cabo otros subprocesos, por ejemplo: dividiendo una columna en varias, enlazando datos de diferentes fuentes, filtrando al seleccionar determinadas filas y columnas, etc.

Carga (Load)

La carga es la fase final del proceso de ETL. Se encarga de cargar los nuevos datos transformados en el nuevo destino. Los datos pueden ser cargados de las siguiente formas:

• Carga completa (Full load): este tipo de carga consiste en pasar de una vez toda la información transformada al nuevo sistema. No obstante, si surgiera algún problema con los datos transformados, la cantidad de fallos de migración crecería enormemente en cuestión de segundos. Por ejemplo, si la transformación del modelado de datos no se hubiera hecho correctamente y no fueran compatibles con el nuevo sistema. Por ello, es importante realizar muchas pruebas (en un entorno de pruebas, también conocido como sandbox, o directamente con pequeñas cargas simbólicas para ver cómo funciona en el nuevo sistema).

  Este tipo de carga suele ir de la mano de la metodología de migración de datos conocida como “Big Bang” migration (migración Big Bang). Esta metodología consiste en transferir todos los datos en un periodo concreto de tiempo. Al realizar la carga toda de una vez, se reduce bastante el tiempo de migración. La desventaja de esta metodología es que la empresa opera sin uno de sus recursos durante todo el tiempo que dure la carga.

• Carga incremental (Incremental loading): la carga incremental consiste en cargar los datos comparándolos con los datos que ya están disponibles en el nuevo sistema para evitar duplicidades. No obstante, este tipo de carga toma más tiempo, ya que no se hace de una vez, sino que va cargando los datos según las fases planificadas. El tiempo de carga emplearía aún más tiempo si no se hace una buena limpieza de datos durante las fases anteriores para evitar tener datos incoherentes o incompletos.

  Este tipo de carga suele realizarse con la metodología de migración de datos conocida como Trickle migration (migración por goteo, traducción propia). Esta metodología consiste en completar el proceso de migración por fases, haciendo que el sistema antiguo y el nuevo operen en paralelo. Esta forma de proceder elimina los tiempos de inactividad (downtime) ya que se puede seguir operando durante la migración, pero también hace que la duración de la migración sea mucho más larga. Además, el diseño de este tipo de migraciones es complejo. Si no se estructuran bien las fases, puede perjudicar enormemente a la hora de completar la migración, ya que puede que no se cargue toda la información que se deseaba o que no se encuentre en el formato correcto.

Al momento de migrar

Todas las fases del proceso de ETL se pueden realizar de forma manual. No obstante, esto conlleva mucho trabajo de código a mano, y son frecuentes los errores humanos. Por eso, las empresas suelen hacer uso de herramientas de ETL. Estas herramientas son ofrecidas por algunos proveedores de software (si la migración de los datos la quiere realizar la propia empresa). Incluso esos mismos proveedores usan esas herramientas cuando hacen la migración de datos cuando implementan un nuevo sistema.

Cuando la migración la realiza el proveedor es importante tener una persona dentro de la organización, normalmente el CIO, para que les comente cómo se desea que se haga la migración. Otra labor que tendrá el responsable de la organización será la de supervisar la labor de migración de los proveedores atendiendo:

• Que se estén migrando las categorías establecidas por la organización de los datos y que se encuentren todos.
• Que el proveedor no se esté dejando ninguna configuración atrás, por ejemplo, perfiles de clientes. Un problema muy frecuente en las migraciones es la pérdida de las fechas originales del histórico, ya que se muestra únicamente la fecha de la migración como fecha común de todos los datos migrados a la misma vez.

¿Qué tipos de migraciones de datos hay?

Dependiendo de la modalidad de migración de datos que se vaya a realizar, el procedimiento que deberá llevar una empresa variará. Los tipos de migraciones que hay son:

• • Migración de almacenamiento (Storage migration): consiste en transferir los datos desde un almacenamiento a otro, ya sea hardwareUn hardware es el componente material que conforma un equipo informático, es decir, todo aquello que se puede tocar, como por ejemplo: la pantalla, el ratón, el teclado, etc. Esto actúa en contraposición al software, que se refiere al componente lógico de un equipo informático (todos los componentes que no se pueden tocar pero que hacen posible la realización de tareas específicas): sistema operativo, procesadores de texto, etc. Gracias a la combinación de software y hardware, un equipo informático funciona correctamente. de la propia empresa (como un disco duro, puerto USB, servidor localEl término on-premise o en local se refiere al tipo de instalación de una solución de software. Esta instalación se lleva a cabo dentro del servidor y la infraestructura (TIC) de la empresa. Es el modelo tradicional de aplicaciones empresariales. Con el modelo on-premise, la empresa es la responsable de la seguridad, disponibilidad y gestión del software. Por lo que la empresa debe tener un departamento de sistemas que dedique parte de sus recursos a la gestión de la infraestructura in situ., etc.) o en la nubeLa nube (o cloud, en inglés) hace referencia a una nueva forma de implementación y de uso de software en las empresas, con el propósito de que todos los datos y aplicaciones se conviertan poco a poco en servicios online. Este modelo ha creado el concepto de movilidad total, otorgando al usuario la posibilidad de acceder a su información desde cualquier parte del mundo, con la única limitación de disponer de un dispositivo con acceso a internet..
  • Migración de bases de datos (Database migration): este tipo de migración se puede dar porque se cambie de proveedor de sistema de base de datos (por ejemplo, de MySQL de OracleMySQL es un sistema de gestión de base de datos (SGBD) de código abierto. El SGBD MySQL pertenece actualmente a Oracle. Funciona con un modelo cliente-servidor. Eso quiere decir que los ordenadores que instalan y ejecutan el software de gestión de base de datos se denominan clientes. Cada vez que necesitan acceder a los datos, los clientes se conectan al servidor del sistema de gestión de base de datos y le solicitan la información que necesitan. El servidor se la brinda siempre y cuando tenga los derechos de acceso. a SAP HANASAP HANA es un sistema de gestión de bases de datos relacionales en memoria. Su nombre proviene de las siglas “High Performance Analytic Appliance”. Este nombre hace referencia al rendimiento para soportar altas tasas de transacción de datos y al procesamiento de consultas complejas. Este sistema de base de datos es capaz de realizar grandes análisis de datos en tiempo real, así como acelerar y optimizar procesos de negocio.) o porque se actualice el software de la base de datos. Al migrar de base de datos, hay que prestar especial atención cuando se modifican los datos originales, ya que puede afectar al lenguaje de los datos o protocolos.

Atención: la elección del sistema de base de datos para una empresa es muy importante. Esto se debe a que, aunque pueden tener un lenguaje similar, siempre tienen particularidades que afectan a la forma de usarla y, por tanto, a la estructuración de los datos. En la Guía ERPLa Guía de ERP contiene información esencial para los jefes de proyectos que se están orientando sobre la adquisición de un (nuevo) paquete de software de ERP. Dentro encontrará, entre otras cosas: precios, comparación de soluciones, funcionalidades, consejos e importantes errores comunes. se encuentra una comparación en detalle de las bases de datos más conocidas del mercado.

• Migración de aplicaciones (Application Migration): esta migración se realiza cuando se va a cambiar de una aplicación a otra. Por ejemplo, cuando una empresa cambia del sistema ERPUn sistema ERP (Enterprise Resource Planning) o sistema de planificación de recursos empresariales se hace cargo de distintas operaciones internas de una empresa, desde producción a distribución o incluso recursos humanos. Por tanto, este software gestiona los distintos procesos empresariales de una misma empresa. Existen muchos tipos de ERP: horizontales (generales) y verticales (sectoriales); para pequeñas, medianas y grandes empresas; nube, híbrido o en local; entre otros. de SAP Business OneSAP Business One es un sistema ERP dirigido a pequeñas y medianas empresas. Integra las partes básicas para la gestión de un negocio y se dedica a mejorar la productividad y el rendimiento de la empresa. SAP Business One está disponible en más de 150 países y adaptado a 27 idiomas distintos. Sin embargo, el nombre de SAP siempre se ha asociado a sistemas de gran dificultad de uso y que requieren un conocimiento avanzado tanto para los responsables de IT como a nivel de usuario. a Microsoft Dynamics 365Dynamics 365 es solución que se encuentra totalmente en la nube, que consiste en una combinación de ERP y CRM. Dynamics 365 se basa en aplicaciones independientes, tal y como se encuentra ahora en su forma definitiva. De esta manera, Microsoft ofrece a las empresas formas diferentes de combinar aplicaciones en un sistema ERP. Las empresas pueden, por lo tanto, comprar un “plan” formado con aplicaciones fijas o armar su propio paquete de aplicaciones.. Cuando se trata de una nueva aplicación del mismo fabricante, no siempre hay que migrar. Sólo será necesario cuando el data model (modelo de datos) de la nueva aplicación es diferente al data model de la aplicación anterior. Por ejemplo, una empresa debe realizar una migración de datos de aplicaciones cuando cambia de SAP R/3 (SAP Business All-in-OneSAP Business All-In-One (A1) es una solución de software ERP específica dirigida a medianas empresas. Este producto de SAP es uno de los más sólidos para las empresas que busquen un ERP con un tiempo de implementación más rápido y un coste menor pero con una gran cantidad de funciones de base y otras que se pueden añadir mediante módulos. Sin embargo, dada la complejidad de los sistemas SAP, un exceso de funcionalidades puede acabar con un gigantesco sistema y ampliar los tiempos de implementación.) a SAP S/4 HANASAP S/4 HANA es el software de planificación de recursos empresariales (ERP, Enterprise Resource Planning) más reciente de SAP, lanzado en febrero de 2015. El software SAP S/4 HANA es la nueva generación de Business Suite de SAP para grandes empresas y multinacionales. SAP S/4 HANA toma las riendas de sus antecesores R/3 (también conocido en la actualidad como Business All-in-One) y ECC (Enterprise Central Component)..
• Migración de procesos empresariales (BPM Migration): este es el tipo de migración más compleja. Ya que consiste en la migración de los datos desde cualquier sistema empresarial, aplicación y/o base de datos con información sobre los procesos, clientes, productos y operaciones a otra empresa, aplicación y/o base de datos. Generalmente, la migración de procesos empresariales se lleva a cabo usando herramientas de BPMLa gestión de procesos empresariales (Business Process Management, BPM) se usa para mapear, evaluar y optimizar todas las estructuras, procesos y flujos de trabajo dentro de una empresa. A través de un enfoque de BPM, los procesos empresariales también se analizan, visualizan y, ocasionalmente, se registran desde un nivel global. Por lo tanto, la gestión de procesos empresariales es muy holística, pero los detalles de procesos empresariales específicos no se pierden de vista. (Business Process Management). Además, este tipo de migración suelen darse cuando hay una fusión de empresas o cuando una empresa es adquirida por otra.

¿Cuáles son los principales problemas que surgen al migrar datos?

Si no se tiene un plan serio para la migración de datos, los procesos de migración pueden complicarse y llevarse más presupuesto del establecido o que las operaciones no funcionen bien del todo en el nuevo sistema.

A la hora de hacer la migración de un sistema a otro, hay muchas personas que piensan que es tan simple como “cortar y pegar”. Sin embargo, esta tarea no es para nada así, es vital no subestimar el proceso de migración. Por ello, es importante realizar un estudio previo del estado de tu sistema legado y de los requisitos del nuevo sistema de destino.

Los principales fallos que cometen las empresas a la hora de hacer una migración de datos son:

1. No hacer copias de seguridad de todos los datos que se van a migrar: antes de realizar una migración es importante tener copias de seguridadUna copia de seguridad (backup) es un duplicado de los datos que se hace para poder recuperarlos ante cualquier pérdida o incidente. Por lo tanto, las copias de seguridad forman una parte muy importante de la seguridad TIC de la empresa, ya que sin ellas una empresa podría quedarse sin sus datos. Por ello, en la norma ISO 27001, de seguridad informática y de información, exige que se hagan backups regularmente, que se comprueben que sean correctas y restaurables. válidas y lo más recientes posible. Este paso es muy importante ya que, podrían perderse todos los datos si surgiera algún incidente (como que se vaya la luz o se corta el servicio del internet durante la migración). En el siguiente vídeo, Ismael Yuste García, técnico de innovación, mejora y modernización del Ayuntamiento de Canet d’en Berenguer nos informa de la importancia de tener unas copias de seguridad válidas:

   

2. No asegurarse de que todo funcione en el nuevo sistema antes de eliminar el anterior: es muy importante hacer muchas pruebas para estar seguros de que todo funciona como debería dentro del nuevo sistema. Un truco para asegurarse de que todos los datos se encuentran en el sistema de destino es buscar el dato más antiguo del sistema y el más nuevo. Si el dato más antiguo y el más nuevo están en el sistema, normalmente eso significa que todos los datos deberían estar en el programa de destino. También sería útil comprobar por categorías de datos. Cuando el sistema nuevo es de un tamaño considerable, también se pueden hacer pruebas automatizadas para ahorrar tiempo y asegurarse de que todo funciona debidamente.
3. No asegurarse de que los datos cumplen con los requisitos del nuevo sistema: es necesario ver si los datos son compatibles y adaptarlos al nuevo sistema. Cuanto más parecido sea el data model del sistema antiguo y del nuevo, más fácil será. Si el modelo de datos es el mismo (por ejemplo, cuando se pasa de una versión a la siguiente de un sistema, no se necesita una (gran) transformación de los datos. En este caso, se puede migrar usando el sistema simplificada FTP (File Transfer Protocol, Protocolo de Transferencia de Datos). Las herramientas de ETL se utilizan cuando el nuevo sistema tiene una estructura diferente y necesita que se transformen los datos para que el sistema de destino pueda operar con ellos.

4. No calcular (ni planificar) bien los tiempos de inactividad (downtime): los tiempos de inactividad son aquellos tiempos en los que el sistema no podrá operar como es debido. Es muy importante calcular la duración que va a durar la migración para así saber cuándo se va a publicar un contenido. La duración de la migración dependerá de la cantidad de los datos, de los requisitos del nuevo sistema y la transformación que necesiten los datos. Cuando la migración se hace desde un sistema que está en la nube y/o hacia un sistema que esté en la nube, también influirá de gran forma la velocidad de internet. Cuanto más rápido sea el internet, menor tiempo tomará la transferencia.

   Por ejemplo, una migración de un servidor cloud de correo electrónico de una empresa a otro servidor cloud puede tardar unas 2 horas. En cambio, si la migración se realiza de un servidorUn servidor es un aparato informático que almacena, distribuye y suministra información. Los servidores funcionan basándose en el modelo “cliente-servidor”. El cliente puede ser tanto un ordenador como una aplicación que requiere información del servidor para funcionar. Por tanto, un servidor ofrecerá la información demandada por el cliente siempre y cuando el cliente esté autorizado. Los servidores pueden ser físicos o virtuales. de una intranetUna intranet es una red privada de trabajo dentro de una organización a la que solo tienen acceso los empleados. Esta red de trabajo puede consistir en redes de área local conectadas (Local Area Networks, LAN) o, a veces, incluso de redes de área amplia (Wide Area Networks, WAN). A través de una puerta de enlace (gateway), los usuarios de la intranet también tienen acceso a internet regular, a veces con ciertas restricciones., la migración puede durar de 2 a 48 horas. Teniendo estos datos en cuenta, ya se sabe si es posible que se vaya a tardar 2 días, es mejor escoger los días de menor actividad para realizarla. A la hora de planificar el momento de downtime, una empresa que trabaje de lunes a viernes seguramente escoja el fin de semana para hacer la migración. En cambio, si se trata de una migración de un e-commerceEl comercio electrónico (e-commerce o e-business) abarca todas las formas de comercio en línea. La mayoría de las personas piensa directamente en una tienda online (o webshop, en inglés) para consumidores, pero el término también se utiliza para, por ejemplo, transacciones financieras entre bancos. Con este último sentido de comercio electrónico, el término se remonta a los años 70., la mayoría de la actividad sucede durante el fin de semana. Por ello, sería más conveniente que migrara durante la semana.

Atención: una vez que comienza la migración, se pierde la consistencia de los datos. Eso quiere decir que cualquier cambio que se haga durante la migración, se perderá por el camino. Hay 2 opciones para tener los cambios realizados durante la migración en el sistema de destino. La primera opción es la de volver a realizar todos los cambios una vez que termine la migración. La segunda es volver a comenzar la migración cada vez que se haga un cambio.