Data mining (minería de datos)
Índice:
¿Qué es y para qué sirve el datamining?
La minería de datos (data mining) es el conjunto de técnicas y tecnologías que se usan para la extracción de datos. Los datos se suelen extraer para detectar normas, patrones y/o tendencias de comportamientos de los usuarios. Para ello, los datos extraídos primero tienen que ser interpretados por algoritmos matemáticos. Estos segmentan los datos y evalúan las probabilidades de futuros eventos. El data mining se compone de las siguientes etapas:
1. Determinación de los objetivos/problemas
Esta etapa consiste en localizar cuáles son las problemáticas o puntos de mejora de la empresa y establecerlos como objetivos. Para ello, una empresa se puede apoyar en una herramienta de 
La Inteligencia de Negocios (Business Intelligence, BI) se basa en el análisis de datos de la información de la compañía. Con esos datos se intenta obtener información valiosa para tomar decisiones comerciales estratégicas y operativas (información comercial). Generalmente, los datos en “bruto” provienen de los diferentes softwares de la compañía, tales como ERP, RRHH, gestión documental u otro software especializado. Los datos en bruto son: datos de ventas, tendencias del mercado, resultados financieros, etc.Business Intelligence (BI) o algo más básico como una herramienta de analítica como Google Analytics. De esta forma, se localiza dónde el 
Un proceso empresarial consiste en una serie de pasos, actividades y tareas que se realizan para obtener el resultado deseado. El resultado deseado puede ser la fabricación de un coche, el procesamiento de una factura o el trayecto que se sigue para conseguir vender. Por tanto, un proceso empresarial se centra en cómo se debe hacer el trabajo y en los flujos de trabajo dentro de una organización.proceso empresarial falla y se puede establecer un plan para llevar a cabo el data mining.
Por ejemplo, el propósito de una empresa es aumentar las ventas de un producto específico de su catálogo. Entonces, el objetivo del data mining será averiguar qué consumidores son los que tienen más probabilidades de comprar dicho producto. Para ello, se crea un modelo predictivo basado en aquellos clientes que lo hayan adquirido. Asimismo, es importante que también se incluyan datos que puedan establecer relaciones de semejanza entre los que compraron el producto. Estos datos relacionales pueden ser la edad, género, localidad, etc.
2. Recopilación de los datos y preparación de los datos
Una vez que se han establecido qué datos se quieren reunir, es hora de recopilarlos. Al reunir los datos, se puede estudiar el nivel de gravedad del problema. Para ello, se analiza cuál es la situación actual con respecto al problema, cuál es el objetivo y qué haría falta para conseguir dicho objetivo. En este punto se decide si ciertos datos pueden ser descartados o si hace falta añadir datos adicionales. Además, en esta etapa también se identifica si hay problemas de calidad de datos (si están duplicados, si falta información, si son incoherentes, …). Hay sistemas de 
La integración de datos, data integration, consiste en la recopilación de datos desde las distintas fuentes empresariales para asegurar tener datos completos y precisos. La integración permite consolidar datos de diferente índole (estructurados, no estructurados, en streaming, etc.). Así, las empresas se aseguran que se pueda realizar cualquier operación empresarial, como consultar en las bases de datos o hacer analíticas complejas.integración de datos (como una El proceso de ETL (Extract, Transform and Load - Extraer, Transformar y Cargar) consiste en extraer los datos de las fuentes originales para transformarlos y adecuarlos para que se puedan cargar bien en el nuevo sistema donde se van a almacenar.herramienta de ETL) y de 
La gestión de datos maestros (Master Data Management, MDM) se encarga de que todos los datos empresariales se almacenen y gestionen centralmente. La información disponible sobre un producto, proceso, cliente o servicio se encuentra, por así decirlo, en un archivo maestro. Si se cambia algo en alguna parte del sistema, también se incluye este cambio automáticamente en otros sistemas. De esta manera se evita la fragmentación de la información y no hay ni un sólo sistema con datos desactualizados.gestión de datos maestros que ayudan a ver si la calidad es buena, si hay detalles que faltan e, incluso, si están duplicados.
Una vez están recopilados todos los datos se procede a prepararlos para la siguiente fase, el modelado (data modeling). Para ello se hace una limpieza de los datos, se quitan redundancias y se busca patrones en los datos y transformarlos en el formato óptimo para el modelado. También hay que seleccionar las tablas, atributos y casos (nodos que representan las entidades que participan en la investigación, por ejemplo, grupos de edades, empresas, etc.). Por ejemplo, la columna de la 
Una base de datos es una herramienta que recopila datos, los organiza y los relaciona para que se pueda hacer una rápida búsqueda y recuperar con ayuda de un ordenador. Hoy en día, las bases de datos también sirven para desarrollar análisis. Las bases de datos más modernas tienen motores específicos para sacar informes de datos complejos.base de datos que contiene los datos de la fecha de nacimiento se transforma para que sólo muestre la edad.
Asimismo, se aprovecha para buscar datos más cercanos a la realidad. Hacer una buena preparación de los datos conseguirá que mejore la información reflejada en los análisis. Por ejemplo, en vez de poner como atributo el ticket medio de cada compra (gasto medio del cliente por cada compra), se puede buscar la cantidad de veces que un ticket supera una determinada cantidad de dinero en un periodo de 1 año. De esta forma, se puede ver si esas ventas se han producido por estar en periodos de rebajas o por alguna campaña.
3. Modelado de datos
En el modelado de los datos, los datos son sometidos a algoritmos matemáticos y se crean estadísticas. Si al realizar los cálculos algorítmicos el sistema de BI refleja un problema con los datos, eso significa que no se transformaron bien y tendrá que volverse a realizar la fase de preparación. Asimismo, en esta etapa, los datos también suelen pasar por procesos de 
La inteligencia artificial (IA), también conocida por su nombre inglés, Artificial Intelligence (AI), es una tecnología que trata de realizar las tareas y tomar las decisiones empresariales de forma automática y autónoma, aprendiendo de forma continua. La inteligencia artificial hace uso del Big Data para obtener los datos necesarios para operar. Con la inteligencia de negocios (BI) analiza esos datos y la IA utilizará esas estadísticas para tomar decisiones.inteligencia artificial, lo que ayuda a determinar patrones de correlación entre los datos que podrían ser de importancia.
¡Consejo! Para comprobar que la preparación se llevó bien a cabo, es recomendable aplicar los algoritmos a un pequeño conjunto de datos. Con esta prueba se puede ver si se podrán modelar todos los datos sin problemas antes de que sea demasiado tarde y se tenga que empezar de nuevo todo el proceso de transformación.
4. Evaluación
Una vez que se han realizado todas las fases anteriores, llega el momento de evaluar si los resultados obtenidos son coherentes y si ayudan a abarcar el objetivo inicialmente marcado. Volviendo al ejemplo de la etapa 1 (determinación de los objetivos/problemas), se comprueba si el análisis proporciona información novedosa y relevante para la toma de decisiones para aumentar las ventas de un producto concreto. Para ello, los analistas encargados del data mining se harán preguntas como:
- ¿se encuentra un patrón claro de potenciales consumidores del producto?
- ¿se necesita información adicional para concretar el perfil de los potenciales clientes?
- etc.
El resultado de estas preguntas se puede obtener al comprobar el estado inicial que se tenía al determinar los objetivos de la empresa con el actual. Las herramientas de analítica permiten crear visiones de cómo era el nivel del problema, por ejemplo, en el mes de julio y, como es en el mes de septiembre después de haber implementado los cambios para solucionarlo. Si el resultado no consigue responder estas preguntas, se tendrá que volver a empezar todo el proceso de data mining.
¿Cuál es la diferencia entre Big Data, Data mining y BI?
El 
Big Data es el término utilizado para definir el cúmulo masivo de información cuyo tamaño va más allá de la capacidad de captura, almacenado, gestión y análisis de las herramientas utilizadas anteriormente. La gestión y análisis de enormes volúmenes de datos no pueden ser tratados de manera convencional. Las herramientas habituales no son capaces de realizar este propósito de forma satisfactoria por lo que los fabricantes de software sienten la necesidad de desarrollar nuevas herramientas capaces de soportar la información generada.Big Data consiste en el almacenamiento masivo de los datos. El Data mining extrae los datos del big data y ayuda a encontrar patrones y relaciones dentro de los datos recopilados. Y, por último, la La Inteligencia de Negocios (Business Intelligence, BI) se basa en el análisis de datos de la información de la compañía. Con esos datos se intenta obtener información valiosa para tomar decisiones comerciales estratégicas y operativas (información comercial). Generalmente, los datos en “bruto” provienen de los diferentes softwares de la compañía, tales como ERP, RRHH, gestión documental u otro software especializado. Los datos en bruto son: datos de ventas, tendencias del mercado, resultados financieros, etc.inteligencia de negocios (BI, Business Intelligence) utiliza el data mining para crear informes y visualizaciones gráficas para ayudar con la toma de decisiones empresariales.
¿Sabías que? Según Forbes, el Data mining es una práctica estratégica considerada importante por casi el 80% de las organizaciones que aplican inteligencia empresarial (business intelligence).
En la siguiente tabla se encuentra una comparación en detalle de estos 3 conceptos:
| Big data | Data mining | Business Intelligence | |
|---|---|---|---|
| Concepto | Recopila grandes cantidades de datos y los almacena | Identifica y extrae información relevante procedente del Big Data | Aprovecha los datos relevantes para optimizar la toma de decisiones y el rendimiento de la empresa |
| Procesamiento | Debido a su tamaño, no se puede procesar con softwares convencionales | Hace uso de algoritmos matemáticos y de la inteligencia artificial | Los datos ya se encuentran transformados y listos para que se les realice un análisis retrospectivo |
| Predictibilidad | La información de los datos no tiene la densidad suficiente para poder realizar predicciones | Obtiene resultados específicos de predicción | El resultado del informe permite conocer el estado actual y pasado de la empresa |
| Herramientas | Necesita herramientas especiales para capturar, gestionar y tratar la información (Apache Hadoop, MongoDB, …) | Crea modelos predictivos de clasificación/segmentación con ayuda de software (IBM SPSS, KNIME, …) | Usa herramientas de reporting para ver la información en cuadros de mandos y evaluar los  El indicador clave de rendimiento (KPI, Key Performance Indicator, en inglés) son los números o medidas para calcular el desempeño de una empresa. De acuerdo con los KPI, los directores deciden los objetivos y estrategias. Asimismo, gracias a los KPI los accionistas se mantienen informados sobre la situación de la compañía.KPIs (como  SAP Analytics Cloud (SAC) es una herramienta en la nube de inteligencia de negocios (BI), predicción y planificación analítica. Es decir, esta solución no sólo ayuda a visualizar la situación actual de la empresa, sino que también permite realizar predicciones y planificaciones estratégicas empresariales con ayuda de la inteligencia artificial (AI) y del machine learning.SAP Analytics Cloud,  SAP BusinessObjects BI Suite (SAP BO) es una plataforma on-premise de SAP de inteligencia de negocios (Business Intelligence, BI) para la creación de informes, visualización en cuadros de mando, exploración y análisis de datos empresariales. Para conectarse con las diferentes fuentes y bases de datos (de dentro y de fuera del entorno SAP), SAP BusinessObjects lo hace a través de Data Services (servicios de datos) o de la herramienta Information Design Tool (IDT). La IDT es una herramienta de diseño de universos. Gracias a estas herramientas, el usuario puede interactuar con los datos sin que necesite saber de lenguaje SQL, ni de qué base de datos proceden, ni qué estructura tienen.SAP Business Objects,  Power BI es una solución de inteligencia de negocios (Business Intelligence, BI) de Microsoft que sirve para analizar datos empresariales. Los datos son sacados de los almacenes de datos, bases de datos, redes sociales, Common Data Service, tablas de Excel o cualquier sistema que contenga datos de la organización. Este tipo de solución suele ser usada por analistas de datos o por profesionales de inteligencia empresarial, pero también la pueden usar usuarios que desean hacer informes más dinámicos.Power BI,…) |
| Calidad de los datos | Varía mucho, necesitan ser transformados para sacar un buen análisis | Transforma la información de los datos para obtener conocimiento valioso | Obtiene información de calidad gracias a los datos transformados, facilitando la toma de decisiones |
Aplicaciones de la minería de datos en las empresas
El data mining proporciona muchas facilidades para poder predecir patrones y comportamientos. Por ello, muchas empresas usan la minería de datos para adaptar y diseñar sus estrategias empresariales. Algunos de los usos más comunes de la minería de datos son:
Personalización a través del marketing
Los responsables de marketing tienen que explorar las bases de datos de la empresa para mejorar las ventas. Para ello, deben segmentar el mercado según parámetros como la edad, género, gustos, aficiones, etc. De esta forma, pueden estudiar el comportamiento de los consumidores y hacer campañas de captación y/o de fidelización. La parte de fidelización es muy importante ya que, cuesta menos dinero fidelizar a un cliente que captarlo. Eso sí, para ello hay que ofrecerles experiencias personalizadas. Por ello, el data mining se encarga de saber los gustos e intereses de los clientes y, con ayuda de técnicas de inteligencia artificial como el 
Deep learning (DL), también conocido como aprendizaje profundo, es un tipo de machine learning que se estructura inspirándose en el cerebro humano y sus redes neuronales. El aprendizaje profundo procesa datos para detectar objetos, reconocer conversaciones, traducir idiomas y tomar decisiones. Al ser un tipo de machine learning, esta tecnología sirve para que la inteligencia artificial aprenda de forma continua.deep learning, les manda newsletter y/o les enseña sugerencias de productos o servicios que les podría gustar.
¿Sabías que? Según la asesoría internacional de marketing Invesp, cuesta 5 veces más atraer a un nuevo cliente que mantener a uno que ya se tiene.
Diseño de las tiendas
Es posible que una persona entre en una tienda buscando un producto concreto y termine revisando la tienda entera y comprando más cosas de las que pensaba inicialmente. Esto se debe al diseño de distribución de las tiendas. Gracias a este tipo de técnicas, las tiendas consiguen aumentar sus ventas. Este diseño lo estudian desde los supermercados hasta las tiendas de ropa. Por ejemplo, los supermercados analizan las compras de los clientes para ver cuáles son los artículos que se suelen comprar juntos. Con la información sacada de este proceso de minería de datos, las empresas consiguen identificar artículos que suelen comprarse a la vez y los coloca cerca para que los clientes los vean y los añadan a su carro. Igualmente, con el data mining, las tiendas de ropa pueden ver qué productos son los que son de mayor interés para su público y crea un camino de acceso por el cual, para llegar hasta él, tengan que pasar por otros productos y, así, se les antoje. Un caso muy conocido de este uso es el de IKEA, este gigante de los muebles hace que el cliente tenga que pasar por todos los departamentos antes de marcharse de la tienda.
Otros usos de la minería de datos
Todas las empresas pueden hacer uso de la minería de datos, ya que consiste en estudiar sus propios datos para mejorar sus ventas y estrategias. Por ejemplo, las cadenas de televisión estudian qué tipo de telespectadores tienen por cada tipo de programa. De esta forma, pueden saber qué momentos podrían ser de mayor interés para qué anunciante. Es decir, cuando están poniendo el telediario, pondrán anuncios relevantes para personas adultas con cierto nivel adquisitivo, mientras que si están echando un programa infantil, pondrán anuncios de juguetes.
Asimismo, se puede usar en producción para conocer cuándo habrá picos de mayor y menor actividad. De esta forma, se puede hacer una puesta a punto de las máquinas y planificar los mantenimientos y revisiones para que todo esté a punto cuando llegue el momento de fabricar de forma intensa.
Artículos relacionados TIC Portal:
