Categoría: Big Data

30 May 2017 | Big Data

Mejor una solución aproximada a un problema correcto que una solución correcta a un problema aproximado.

Cada día se habla más y más de la Ciencia de Datos o de Data Science, una disciplina muy interesante para las empresas, para que saquen provecho a la gran cantidad de información que almacenan en sus sistemas.

Es habitual que el analista disponga de cierto bagaje tecnológico porque necesita tener conocimiento de técnicas complejas pero no debe perder el foco de que con su trabajo, ha de solucionar un problema de negocio. El objetivo no es el dato, es solucionar un problema de la empresa. Y este es el tema principal que ha de tratarse cuando hablamos de Data Science, la vinculación que el científico o el analista de datos con el NEGOCIO.

Existen proyectos en los que a pesar de haber llegado a una solución se quedan guardados en el cajón porque no hay interés en los destinatarios, los responsables de su explotación. La no comprensión, el miedo o rechazo a los algoritmos… son barreras que frenan el desarrollo cuando en realidad, lo que permite es adquirir una ventaja competitiva frente al resto.

Entre las áreas de negocio y tecnología es habitual que no haya mucha comunicación porque hablan lenguajes diferentes. El científico de datos desempeña un rol de “traductor” e intermediario, disponen de un carácter didáctico. Se trata de profesiones con un perfil híbrido que suponen muchas veces un quebradero de cabeza porque no se sabe dónde ubicarlos.

Eliminar el binomio negocio vs tecnología, que vayan de la mano y hablen un mismo idioma, ayudaría en gran medida a que las dos grandes patas trabajen conjuntamente en armonía. Sin embargo, tal y como están planificadas las carreras en la universidad en España, no ayuda a lograr ese ideal. Por ejemplo, en las carreras técnicas como informática, matemáticas y estadística en ningún momento se enriquecen con enseñanzas sobre posibles aplicaciones técnicas al negocio. También es cierto que cada vez va habiendo más perfiles de tipo mixto: personas que estudiaron arte o arquitectura, se han reciclado al mundo técnico y son capaces de aportar una visión más innovadora.

En el perfil de analista de datos debe predominar la inquietud. Debe ser alguien que quiera explorar nuevos sectores o segmentos que le interese. Es un profesional que no le debe ser difícil salir de su zona de confort para enfrentarse a conocer otros mundos.

El comienzo de todo proyecto debe partir por tener claro el problema de negocio que se quiere solucionar y cómo se quiere hacer. Es fundamental tener clara la perspectiva que se le quiera dar al problema ya que uno mismo puede tener varias.

Por ejemplo, si una empresa quiere atacar el problema del abandono de sus clientes, su preguntas pueden ser:

Quiero saber quién ha dejado de comprar
Quiero saber por qué ha dejado de comprar
Quiero saber quien va a dejar de comprar
Quiero saber cuáles son los incentivos que han llevado a algunos clientes a abandonar

Centrar la idea es importante, y también lo es el hecho de tener claro cómo se va a poder accionar la solución. Una vez claro el resultado al que se quiere llegar, el proyecto continúa por identificar la información que me gustaría disponer y ver de la que se dispone, porque igual hay cosas que no se están midiendo y ese es el primer punto sobre el que actuar.

No hay que olvidar empaparse del contexto: hablar con la gente de negocio, percibir sus impresiones, conocer las opiniones de los profesionales expertos como por ejemplo los comerciales… para comprender la esencia de la situación y enriquecer los datos con información cualitativa.

Una vez superadas las fases anteriores, es importante optimizar recursos, tiempo y esfuerzo de tal forma que el proyecto no pase a ser un “gran proyecto de 3 meses” cuyo resultado final no sea el esperado. La metodología “agile” está a la orden del día y es habitual en el campo de la investigación: consiste en hacer una aproximación rápida al problema, por ejemplo dedicando un día laboral (8 horas) en caso de que ya se conozca la tecnología con la que se trabaja. El objetivo es obtener el mínimo producto viable para ir evolucionándolo. Es un cambio de filosofía: nunca va a ser el trabajo final, la solución va a evolucionar conforme los datos y el entorno cambien.

En definitiva, se trata de crear un proyecto inicial e irlo desarrollando con interacciones cortas. Cambiar la idea de que un proyecto es algo que se empieza y termina. Disponer de un modelo inicial que arroja un resultado con el que se puede trabajar desde un primer día, sin olvidar mejorarlo constantemente en los días siguientes. La prioridad inicial no debe ser la exactitud sino mejorar lo que hay o llegar a un modelo que permita abrir una línea de exploración por muchos más canales.

En resumen: El proyecto debe partir de un conocimiento de la situación actual para medir lo que se tiene, es decir, disponer datos con los que comparar los resultados de un modelo “ultra-sencillo”. Si se compara y se ha mejorado, entonces el esfuerzo habrá merecido la pena 🙂

Si quieres saber más sobre este tema, no te pierdas mi conversación con Antonio Pita en ONDACRO de PRNoticias:

¿Qué ha pasado en el último mes?

Me han hecho una entrevista en Territori Mac

Estuve en Lima, Perú, hablando sobre analítica digital y data science:

02 Dic 2015 | Big Data, Metodología

La ciencia es más que un simple conjunto de conocimientos: es una manera de pensar

Al hilo de lo que comentaba en mi anterior post, de la cercanía entre el analista tradicional y el científico de datos, hay que aprender nuevas metodologías que nos permitan adaptarnos a los nuevos tiempos.

Las empresas que están haciendo mejor analítica y Big Data no se quedan solamente en tomar mejores decisiones de forma interna… van más allá y crean nuevos productos y servicios basados en los datos. La clave es empezar a medir las capacidades y avanzar en aquellos puntos que nos permitan dar un salto diferencial con respecto a la competencia.

Una de las personas de las que aprendí en mis inicios en la analítica web, sobre todo de estrategia de análisis fue Thomas Davenport. Tuve la suerte de verle en 2007 presentando su libro Competing On Analytics y adopté enseguida su modelo DELTA.

Ahora la idea es que el modelo Data Enterprise Leadership Targets Analysts (DELTA) que se utilizaba en el análisis tradicional puede ser llevado al Big Data con alguna modificación, ya que es la base de todo proceso de tratamiento y análisis de datos:

DATA: El mayor esfuerzo en estos tiempos de Big Data reside en el trabajo previo al análisis; es decir: capturar, procesar y estructurar los datos de forma que queden listos para ser analizados.

ENTERPRISE: En la analítica tradicional, era importante llevar todo de forma transversal en la empresa: compartir los datos, la tecnología y los recursos dentro de la empresa para crear la cultura basada en datos y que toda la empresa estuviera involucrada. La base es la misma. Ninguna empresa que quiera hacer Big Data puede hacerlo sin tener una buena base de analítica tradicional sobre la que construir. Es decir, si no existe una cultura de datos en la compañía, hay que crearla desde abajo antes de ir a proyectos más ambiciosos.

LEADERSHIP: Como el Big Data se trata sobre todo de experimentar, de descubrir, es complicado generar valor rápidamente. No se asocia como la analítica tradicional a un ROI o una determinada optimización de un proceso, sino que hay que tener un poco de fe y paciencia, sobre todo al principio. Por lo que el proyecto de Big Data tiene que tener soporte directo de las altas esferas de la compañía, y relacionarse mucho con el equipo de analistas que sí tienen como misión el análisis cuantitativo y un ROI al que remitirse. Así no habrá tanta presión de resultados desde el minuto 1. Por lo que da igual que el responsable se llame CDO (Chief Data Officer) o CAO (Chief Analytics Officer), la idea es que ambas disciplinas convivan y se apoyen.

TARGET: Una buena estrategia de datos debe tener sí o sí una meta en el tiempo. ES decir, saber con certeza qué área se va a optimizar y dónde focalizar esfuerzos. ¿En las decisiones de productos? ¿En la forma de contactar a los clientes? ¿En la distribución del presupuesto? Es importante para determinar qué datos se necesitan, de dónde sacarlos, cómo segmentarlos… No se puede simplemente “hacer analítica” sin un fin, sin una priorización.

Esto cambia con Big Data y su concepto de exploración, ya que a priori parece difícil el establecer prioridades tan focalizadas cuando no sabemos lo que nos vamos a encontrar. Sin embargo, mi experiencia es que no se puede lidiar con todo Big Data a la vez, menos incluso que cuando teníamos small data. Corremos entonces el peligro de tener lo que llamamos “la parálisis postanálisis” de angustia por tener tantos datos que no sabemos muy bien donde nos llevan y no somos capaces de ir más allá y se quedan en datos, no en conocimiento.

Por eso lo que hay que cambiar son las preguntas, no serán tan focalizadas como en el análisis pero sí creo que nos servirán como punto de partida: “¿Qué proceso de negocio necesita un apoyo de datos para crecer?” “Qué datos nos pueden ayudar a reducir nuestros costes?” “¿Cómo debemos crear los productos o servicios basados en datos y dónde les sacaríamos más partido?”. Son preguntas que requieren de más iniciativa y exploración que antes, pero que nos centran lo suficiente como para saber qué estamos buscando y qué nos puede ayudar.

Introduciría en el modelo DELTA, tal y como propone Thomas Davenport en su nuevo libro “Big Data at Work” una T más (DELTTA) puesto que la Tecnología se ha convertido en una parte importante del proceso, del Big Data. Sin Tecnología no hay BIG DATA.

TECHNOLOGY: Se está convirtiendo en una fuente de disrupción. Es la palanca de innovación de una empresa y cada día se desarrollan nuevas herramientas, nuevos proyectos open-source (MapReduce, Hadoop, Pig, Hive..), incluso los grandes gigantes actuales como Amazon, Google, Facebook… están invirtiendo en tecnologías propias e incluso ponerlas al alcance de todos como una especie de proyectos de open-source.

ANALYSTS: No sé qué pasará en el futuro pero ahora mismo los analistas y científicos de datos tienen una parte importante en el establecimiento de la cultura de datos. Sea analizando o programando máquinas que analicen por ellos. Lo que es difícil es encontrar todo lo que se requiere para triunfar en Big Data en un solo perfil ya que se supone que el científico de datos debe saber programar, debe conocer las diferentes tecnologías, debe saber analizar, debe saber del negocio, debe dominar el arte de comunicar, debe saber matemáticas, debe conocer el análisis visual, debe estar al día de machine learning….

Por eso es complicado encontrar buenos científicos de datos. Por mi experiencia, el éxito en las organizaciones suele estar ligado a tener todo lo que he comentado antes pero en diferentes personas de forma que la combinación del trabajo de todas produzca los resultados deseados (perfil técnico, perfil visual-comunicador, perfil negocio, perfil matemático-analítico). Puede ser que alguna persona tenga dos perfiles a la vez pero los cuatro es harto complicado.

Realmente lo que defiende el modelo DELTA es poder desarrollar un plan estratégico de datos para alcanzar una madurez analítica que aporte a la empresa desde el principio. Si la empresa nunca ha basado las decisiones en datos, necesitará ir paso a paso creciendo en las diferentes áreas (cultura de datos en la empresa, tecnología, liderazgo, analítica y target del análisis) para garantizar llegar a buen puerto y que no vayamos dando palos de ciego.

¿En qué fase estás en cada uno de los factores?

25 Nov 2015 | Analista Web, Big Data

Las ideas no tienen importancia alguna. Las ideas son el uniforme vistoso que se les pone a los sentimientos y a los instintos. Una costumbre indica mucho más el carácter de un pueblo que una idea.

Vivimos en un tiempo en que estamos engañándonos con todo el auge de Big Data y las empresas haciendo alarde de su cultura orientada a datos. Como dice el director de research de Google Peter Norvig “No tenemos mejores algoritmos, simplemente tenemos más datos”. Por eso creo que el salto diferencial en estos tiempos no está tanto en la tecnología como en los sistemas de integración y tratamiento de los datos, que es lo que realmente cambia la forma de hacer las cosas.

Es mucho más interesante y accionable decir “Vamos a analizar conjuntamente los datos de CRM y los de la experiencia de usuario para poder entender mejor la relación que el cliente tiene con nosotros” que “Vamos a hacer Big Data”.

Al principio, la analítica trataba de gestionar la información tradicional y dar soporte a las decisiones internas. El Big Data es algo diferente ya que en lugar de hacer informes y presentaciones que permitan tomar decisiones a los sakeholders, los científicos de datos normalmente profundizan en diferentes tipos de datos por medio de algoritmos para poder optimizar servicios y productos, encontrar nuevas líneas de negocio, etc…

Un analista toma un histórico de datos, lo prepara y analiza, encuentra un modelo que le permite elaborar una o varias hipótesis y según los resultados obtenidos recomienda una acción o varias acciones al stakeholder. Los analistas trabajan en todas las fuentes posibles de datos para encontrar nuevos patrones de comportamiento, alertar sobre las anomalías y los cambios y ser capaces de actuar en consecuencia.

Sin embargo, en Big Data, los datos no es tanto un bloque de histórico sino que se asemeja más a un continuo flujo de información. Los científicos de datos trabajan con la tecnología, más que para encontrar la estabilidad y conformar una estrategia, para descubrir nuevos métodos de interacción con las máquinas y poder tratar todos los datos disponibles por otros medios. Aunque sigue siendo necesario practicar un análisis y actuar sobre los datos para entender qué hacer no se debe proceder de la misma forma. Básicamente porque no es posible 🙂

Se ha generado y se está generando tal cantidad ingente de datos que no hay tiempo suficiente para analizarlos, por lo que el objetivo es analizar los datos con la mínima intervención humana, para poder llegar a tener la agilidad suficiente como para ser capaces en el mínimo tiempo posible de encontrar vías de afrontar lo que nos vamos encontrando.

El Big Data nos puede ayudar mucho en la parte de tomar mejores decisiones, ya que el valor primario es añadir nuevas fuentes de datos para encontrar modelos descriptivos y predictivos. Es decir, si tenemos datos de lo que nos compran los usuarios, seguramente podemos añadir los datos del servicio al cliente, los datos de devolución de productos, los datos de lo que comentan los compradores en redes sociales, etc… Lo que quiero decir con esto es que la clave para tomar mejores decisiones es ir añadiendo contexto e información a los datos primarios. Si solamente tenemos una fuente de datos, nuestras hipótesis van a ser más básicas que si contamos con otros tipos de datos que nos ayudan a entender la situación y a predecir qué puede pasar si realizamos esta acción o esta otra.

Un ejemplo de la importancia de añadir más información a los datos primarios es el caso de Amadeus, la compañía de sistemas de viajes online. Sacó hace unos meses un servicio llamado “Featured Results”. Tomaba en cuenta el ratio look-to-book, el número de búsquedas por reserva de vuelo, precios en las distintas aerolíneas, además de los registros de ventas Estamos hablando de varios cientos de millones de filas de datos. En base a todos estos datos, Amadeus presenta los 4 mejores itinerarios en que el usuario puede estar interesado y se los presenta de forma personalizada. La agencia en la que probó este nuevo servicio mejoró un 20% el ratio de reservas como resultado de búsquedas. Este servicio es solamente posible tratando la información con algoritmos que permitan en el momento de la búsqueda encontrar opciones que se ajusten a la petición del usuario. Tanta cantidad de datos solamente puede ser tratada por un científico de datos con la tecnología adecuada.

El Big Data nos da la oportunidad de crecer, de llegar a optimizar muchas decisiones puesto que nos permite conocer de manera más profunda el entorno del negocio. Lo que está sucediendo ahora es que se utiliza tanto los análisis realizados por especialistas como los automatizados como base, pero esto puede cambiar en los próximos años puesto que cada vez vamos a recoger más datos y los sensores están para quedarse. La diferencia estará en saber qué hacer con esos datos, no en recolectar datos de forma ambigua sin que lleguen a tener nunca un impacto en el negocio.

¿Y cómo lo hago? Lo primero, al igual que con la analítica es sentarnos para determinar la mejor estrategia en Big Data. Lo importante es tener claros nuestros objetivos. De ahí el comienzo de mi post de centrar las acciones y las preguntas que queremos contestar. ¿Qué es lo que necesita la empresa? En los negocios se busca tener datos para aportar tres tipos de valor: reducción de costes, tomar mejores decisiones y la optimización en productos, servicios y entornos. ¿Dónde entramos nosotros?

Los negocios que suelen adoptar mejores estrategias a la hora de pasar de análisis de los datos a Big Data empiezan como comentaba anteriormente, cuando se pretende aportar al análisis básico nuevas variables de sistemas no estructurados y de fuentes totalmente distintas a las transaccionales, para así tener hipótesis mucho más enriquecidas y que den lugar a la toma de decisiones más sólidas.

El objetivo sigue siendo el mismo: tomar decisiones, pero las herramientas son diferentes.

Ahora mismo se pueden utilizar tecnologías que analizan sentimientos de usuarios o llamadas al callcenter y transforman la información que antes no se podía procesar de manera eficiente en datos que sí pueden servir para identificar a los clientes descontentos, por ejemplo. O ser capaces de entender el uso de diversos canales y dispositivos que el cliente utiliza antes de comprar. Este análisis incluyen datos estructurados, semiestructurados y completamente desestructurados y eran complicados de gestionar en empresas que disponen de muchos potenciales clientes. Cada vez es más fácil ahondar en esta maraña de datos, con la tecnología adecuada y los perfiles adecuados.

Por lo que la diferencia está clara, el análisis tradicional se basa más en la optimización y el análisis de Big Data se basa más en el descubrimiento. Y la cultura del dato está presente en ambas puesto que es la base tanto de la producción como del descubrimiento. Ambos análisis parten de una pregunta relacionada con el negocio, pero los métodos de tratamiento de datos son diferentes y por supuesto el resultado de ambas son distintos.

El descubrimiento termina en una idea de un nuevo producto, servicio o de un factor que identifica mejor un nuevo camino. Sin embargo el análisis basado en la optimización es básicamente dar con mejores maneras de actuar, de cambiar las cosas. En el descubrimiento la intervención humana debe ser para dar con el algoritmo o modelo más sólido y en la optimización la intervención humana debe ser para unir las piezas del puzzle y dar con la mejor estrategia para afrontar un problema.

Y ahora mismo lo mejor que puede hacer una organización es hacer trabajar la optimización y el descubrimiento de manera conjunta para beneficiarse del conocimiento que de los datos tendrán ambas estructuras. Con el tiempo estos dos perfiles tomarán lo mejor uno del otro y el analista podrá usar la tecnología para optimizar y descubrir y el científico podrá usar el conocimiento del negocio para descubrir y optimizar. Ahora mismo están lejos de tener el mismo perfil pero a la vez están muy cerca en la manera de pensar y de llegar a accionar en base a los datos.

¿Qué ha pasado en Octubre y Noviembre?

Montamos un evento junto a Mercanza en el que hablé sobre la toma de decisiones en base a los datos.

Participé en el evento en Manager Business Forum en Madrid donde hablé de lo que supone mi profesión.

Hablé en Infoempleo sobre qué hace un experto en analítica web.

Estuve en el programa EL RESPETO hablando y debatiendo sobre los datos.

He participado en la Universidad Autónoma de Madrid en una clase sobre analítica digital.

Hemos abierto un nuevo máster de Analítica Web en KSchool Madrid para los alumnos que no llegaron a entrar en el grupo de octubre. ¡Aún quedan plazas pero empieza el viernes!

01 Oct 2015 | Analista Web, Big Data, Metodología

El flamenco siempre es una pena, el amor es una pena también. En el fondo, todo es una pena y una alegría

Me encuentro que en la mayoría de empresas con las que trabajo almacenan muchos datos, incluso los tratan con nuevos lenguajes de analítica… pero no se toman decisiones de negocio asociadas a los datos.

El problema real es que estamos generando tantos datos que no tenemos capacidad ni tiempo para procesarlos de manera inteligente. Los analistas, los científicos de datos no dan abasto y mucho menos las empresas. Y los datos únicamente son señales, por sí mismos no aportan conocimiento. De hecho lo que me llama la atención es que la mayoría de los datos que estamos recogiendo lo hacemos con una idea en la cabeza y al final lo que hacemos es usarlos para otro propósito. Por eso hemos de tener sí o sí flexibilidad para poder usarlos en muy diferentes contextos. Y ahí entramos los analistas y los científicos de datos, debemos empezar definiendo problemas, preguntas de negocio y lo que se espera de nosotros es ser capaces de diseñar caminos e hipótesis para encontrar soluciones y cambiar las cosas. Pero de esto he hablado en multitud de ocasiones, hoy quiero ir un poco más allá.

Pero… ¿cómo lo hacemos? Los que me conocéis sabéis que me gusta mucho asociar todo a metodologías, entender bien los pasos que puedo seguir y cómo seguirlos. Hace unos meses accedí a una charla de Carlos Somohano, el fundador de Data Science London y me abrió los ojos.

La idea es simplificar las métricas pasando de millones de datos a las métricas clave de nuestro negocio y partir de preguntas clave para obtener las hipótesis. En un momento dado tendremos el equilibrio perfecto entre métricas necesarias y las hipótesis en base al análisis de las mismas que nos permita accionar. He traducido libremente y cambiado alguna cosilla de lo que propone Carlos, el resultado es el siguiente:

*Metodología de estrategia de data science*

Tendremos la DICHA de pasar de millones de datos en bruto que al ponerlos en contexto nos permitirá establecer relaciones y nos dará señales de lo QUE HA PASADO. Podremos así describir a través de la información que nos dan estos datos y su evolución generar unos informes que nos permitan establecer nuestro Conocimiento, el cómo ha pasado. Mediante la experiencia, y el testing aprenderemos y automatizaremos muchos procesos que nos permitan entender el pasado, saber el por qué ha pasado. Encontrando la causa y probando las hipótesis podremos generar modelos y algoritmos que iremos combinando para intentar saber lo que aún no sabemos. Finalmente intentaremos actuar sobre el futuro, con análisis predictivos en base a los modelos e hipótesis y con la optimización en marketing, en el entorno, en el negocio. Solamente así, aplicando el conocimiento, seremos capaces de seguir creciendo.

Resumiendo, esto es lo que sabemos que sabemos, entramos en la zona de lo que sabemos que no sabemos y la dicha nos pillará cuando exploremos más allá, cuando lleguemos a saber lo que no sabemos que no sabemos 🙂

La parte estratégica está clara, verdad? Entonces pasemos al proceso real, lo que nos encontramos en nuestro día a día. Tenemos que intentar tener claras las respuestas a estas preguntas:

Qué sabemos de nuestros productos, de nuestros servicios, de nuestro negocio?
Qué podemos intuir en base a nuestra experiencia?
Qué hipótesis podemos realizar?
Dónde no nos hemos aventurado aún?

El proceso está claro, partimos de los datos brutos, por ejemplo las transacciones, ingresos, intentos de fraude, llamadas al call center… de todas las fuentes de origen propias y ajenas que tengamos a nuestra disposición. Extraemos los datos por medio de queries o de Mapreduce o de Lenguaje R o Python que también permiten análisis y generamos un dataset.

Este dataset será nuestra herramienta de trabajo, sobre la que buscaremos entre todos los datos las correlaciones que nos deriven en causalidades, en distintas formas de segmentación de clientes, de nuestros productos, y que nos permitan realizar un análisis de predicción potente.

El tratamiento está claro, hay que explorar los datos, representarlos visualmente, descubrir y aprender. Datos Información Conocimiento de nuevo. Para tener los insights que tendremos que presentar de manera visual y que llamen a la acción. Solamente así garantizamos que tendremos impacto directo en el negocio.

Los procesos implicados es partir del qué está sucediendo, dónde hacemos los descubrimientos y la exploración (sistema descriptivo), intentar entender el por qué sucedió por medio del análisis de las métricas clave, qué pudo haber sucedido o va a suceder con el análisis predictivo y la construcción de modelos y finalmente qué acciones debería tomar con la foto completa sobre la mesa y qué es lo que he aprendido para mejorar mis sistemas cognitivos.

Mi experiencia es que no tenemos por qué saberlo todo pero sí deberíamos tener una idea general que nos permita identificar qué optimizar y cómo. Para esto tenemos sí o sí que encontrar la metodología correcta para conectar el problema o la pregunta que queremos resolver con los datos correctos. Porque esto es el mundo real, el objetivo final es resolver problemas: No ser parte del problema, sino parte de la solución.

Como resumen me gustaría compartir un esquema que utilizo siempre que me preguntan la diferencia entre un analista de datos y un científico de datos. Básicamente todo se reduce a las preguntas que realizamos y las que no sabemos o no podemos realizar aún basándonos en las cosas que sabemos teniendo en cuenta las que podemos no saber 🙂 (via @AppliedDataLabs)

*Diferencias Analista y Científico de datos*

Si estáis aplicando otro marco de metodología en los proyectos de análisis me encantaría que comentaráis y las incluiré en el texto para enriquecerlo con vuestros comentarios. Gracias!

¿Qué ha pasado en Septiembre?

Lancé junto a muchos compañeros de profesión la guía de INKS de las profesiones de internet

Participé en RNE en una tertulia sobre blogs

Estamos cerrando las últimas plazas para el master de Analítica que empieza en 15 días, date prisa si te apetece convertirte en analista digital (quedan 2 plazas)

27 May 2014 | Big Data

Big Data III: Las matemáticas poseen no sólo la verdad, sino cierta belleza suprema.

Realmente, el Big Data es matemáticas. Son la matemáticas de la efectividad, ya que si tenemos muchos y diversos datos y los combinamos con las reglas adecuadas, podremos encontrar los patrones, los valores atípicos que nos ayudarán a gestionar de forma potente nuestra estrategia de negocio. La fuerza del Big Data está en optimizar procesos muy complejos, cuanto mayor es el sistema, mayor valor podrá aportar. Y de esto trata esta tercera entrega de Big Data en el blog, de sacarle partido a estos datos.

El resumen del marco de trabajo para sacar partido a los datos se centra en partir siempre de preguntas e hipótesis para poder determinar qué datos vamos a necesitar en base al negocio. Tendremos una cantidad ingente de datos y hemos de saber qué indicadores y segmentos van a ser los que directamente tienen que ver con lo que necesitamos para actuar.

Es muy importante no cerrarnos, hay que construir la infraestructura flexible y escalable para que vaya creciendo a nuestra medida. Por lo que no hay que almacenar por almacenar, solamente lo que nos sea útil teniendo en cuenta siempre nuestros objetivos.

Marco de trabajo Big Data (explicación aquí)

Quiero hacer énfasis sobre este tema. Normalmente pasamos de una gran cantidad de datos y basamos nuestro tiempo en conseguir muchos y de diversa índole. ERROR. Lo que hemos de hacer es empezar con una serie de datos que tengan mucho impacto en el negocio. Dar la vuelta a la forma de hacer las cosas, ir aportando datos según nos los vaya pidiendo el sistema, según lo que nos vayamos encontrando por el camino.

¿Entonces?

Entonces, partimos de datos desestructurados, a partir de los objetivos establecidos y la estrategia conceptualizamos los datos, evaluamos el esfuerzo y el beneficio que nos dará cada uno de los datos, seleccionamos la herramienta, la configuramos y realizamos el control de calidad para saber si los datos son precisos. Y nos lanzamos a analizar. ¡Big Data entendido como que no se trata de los datos sino del impacto que tiene en el negocio!

Camino a Big Data

El mayor reto es implementar sistemas de inteligencia que permitan a los datos contar la historia, no para profundizar en datos fragmentados buscando la historia.

La pregunta clave es “Cómo lo hacemos?”.

Un primer paso del análisis puede ser usar datos pasados para predecir la posibilidad de qué va a pasar después. También el utilizar los datos del presente por medio de realtime para poder hacer un análisis predictivo potente en base a lo que ya conocemos. Es decir, conectar el pasado, el presente y el futuro de forma que podamos optimizar las decisiones en base al valor.

La idea es tener un sistema que aprenda a la vez que nosotros, que nos pueda sugerir cambios en modelos y análisis: esto es a lo que vamos. Por lo que necesitamos que toda la tecnología trabaje en paralelo con nosotros para lograr el conocimiento global para tomar decisiones.

Muchos dicen que el Big Data Analytics es lo mismo que el Data Mining, la base es la misma, proveer de una metodología para conseguir inteligencia desde nuestros datos desde una perspectiva tecnológica. Se trata de encontrar los patrones, los perfiles, los modelos, las relaciones dentro de nuestros datos que nos permitan optimizar al máximo nuestro negocio.

La anticipación y la pronta alerta será más y más importante para ganar ventaja competitiva. Estamos en un mundo en el que la ganancia marginal es la clave que nos diferencia de la competencia. Los datos son parte importante en esta carrera al éxito.

Cómo lo hacemos? Vamos buscando correlaciones hasta encontrar la causalidad, como comentaba en el primer post de esta saga y nos lanzamos de lleno al análisis predictivo.

La idea es no solamente describir el qué está pasando, sino predecir qué puede pasar en el futuro, porque esto será lo que nos aportará valor. Podemos empezar por ejemplo con el CLV (Customer Lifetime Value), qué tipo de clientes son más propensos a dejarnos o podemos empezar por hacer pruebas para ver el precio que más se adecua a nuestro público sin salir de nuestros márgenes de beneficio, o saber qué inversión necesitaríamos hacer para alcanzar nuestros objetivos de negocio. Hay muchas combinaciones que nos van a ayudar a entender qué puede pasar y poder adelantarnos para realizar los cambios necesarios en nuestra estrategia en base a esta previsión.

http://snowplowanalytics.com/

Para realizar un análisis predictivo es necesario tener un historial de datos lo suficientemente importante como para que las previsiones sean sólidas. A partir de aquí la metodología que propongo es básicamente la que he propuesto siempre para la analítica digital:

Empezamos teniendo claros los objetivos que queremos alcanzar, para establecer las métricas que nos van a ayudar a saber cuán cerca o lejos estamos de cumplirlos. Teniendo claras estas métricas podremos determinar el historial que tenemos de éstas para saber si realmente podemos generar el análisis predictivo. Si la respuesta es afirmativa, vamos a por ello!

Sacamos los datos y realizamos un análisis de correlación, para entender qué métricas están relacionadas entre sí. Cuando encontramos las correlaciones, establecemos una hipótesis.

Imaginemos que encontramos una correlación entre la tasa de conversión y la tasa de rebote para uno de nuestros canales. Cuanto más baja sea la tasa de rebote más alta es la tasa de conversión. Entonces nuestra hipótesis sería que al bajar un 24% la tasa de rebote de este canal en las páginas afectadas, lograríamos incrementar la tasa de conversión un 5% lo que nos da una subida de ingresos del 11%.

Antes de emocionarnos del todo por encontrar una correlación que parece causal, hay que probarlo en los datos de nuevo. Tomamos LA MITAD de los datos y validamos el modelo con la otra mitad para ver si la hipótesis se cumple. Esto me lo enseñó un lector de este blog hace un tiempo, me pareció una muy buena práctica y ahora lo hago constantemente ☺

A partir de aquí podemos aplicar distintas acciones, podemos usar la regresión (lineal o logarítmica) para construir relaciones lineales y poder determinar qué valores tendrán las métricas en el futuro en base al histórico que manejamos. Así, podremos saber qué podemos esperar de las métricas si no cambiamos la forma de hacer las cosas. De dónde partimos, dónde tenemos que incrementar esfuerzos para poder recoger más de lo esperado, no quedarnos ahí, seguir optimizando estrategias.

O aplicamos clusters o clasificaciones, para encontrar grupos o segmentos de clientes con comportamientos parecidos para poder determinar qué características definen a cada uno de los grupos. Por ejemplo, clasificar a los clientes en base al número de compras que realizan en un periodo de un año. Así podremos intentar entender qué tienen en común los clientes esporádicos, o lo que une a los clientes que realizan pocas compras pero cuando lo hacen tienen un importe alto, o qué grupo de clientes tienen comportamiento similar en compras e importes, o encontrar el tipo de promoción ante el que tienen más correlación con un aumento de gasto en un cluster determinado (los clientes que compran una segunda vez han utilizado el cupón descuento del 70% en el segundo producto).

El problema que veo en mi entorno es que se hacen los análisis predictivos pero no se acompañan de las hipótesis para tomar acción. Se utilizan para entender comportamientos, para entender cómo funcionan nuestros esfuerzos, pero no como base de las acciones. Es mi lucha diaria, el poder cambiar la cultura de las empresas y que se tomen decisiones basadas en datos.

¿Pasaremos del entender a la acción? Confío en que sí 🙂

En una entrevista en Expomarketing Bogotá

¡Un abrazo a todos desde Bogotá!