Corto ensayo sobre las correlaciones, Monet y Big Data
La forma como percibimos el mundo ha cambiado, y también cómo lo medimos. Para planear, primero medíamos un pedazo de la información que podíamos recolectar y analizábamos. Ahora debemos desaprender todo eso.
Esclavos de la causalidad («cuando X tiende a Y, debo hacer Z»), buscábamos precisión en las muestras de los datos para inferir el futuro, extrapolando sábanas de información que después doblábamos para quitarles las arrugas sin importar cuánto tiempo tomara, y así entregar una manta del tamaño de una servilleta planchada y templada; felices, la usábamos para predecir y proyectar. Y como no teníamos datos, extraíamos muestras, encuestábamos y derivábamos. Si algo salía mal, la causalidad nos mostraba que el error estaba en la muestra; si salía bien, el éxito era la proyección.
Siervos del miedo al error, invertimos millones en mejorar los datos y mejorar los artefactos encuestadores, sin ver que la proyección misma era la que estaba sujeta al error, por una razón tan grande como el mismo concepto de causalidad: por querer ver el detalle, nos volvimos ciegos al entorno. Fue una elección consciente en donde resignamos panorama por precisión. Éramos miopes a propósito, sin poder ver el bosque por estar tan cerca de los árboles.
Pero el análisis de las causas tiene alternativa: se puede reemplazar por el análisis de las correlaciones. Si X cambia, ¿qué tan probable es que Y también lo haga?
Esto no implica solo un cambio en la forma de hacernos las preguntas, sino en la forma como queremos llegar a los resultados. El objetivo deja de ser obtener soluciones más precisas: ahora queremos tener más soluciones.
Los datos masivos, el Big Data, suponen un cambio fundamental en la forma de abordar los problemas. Con ese enfoque damos por supuesto el exceso de información, sabiendo que tendremos más de la que podríamos procesar para encontrar causalidad. Con muchos datos, podemos entrecerrar los ojos, alejarnos un poco del cuadro, y con el desenfoque ocular comenzar a notar patrones manifiestos que antes eran invisibles por nuestra cercanía al problema.
Es como un cuadro impresionista, que visto de cerca solo revela brochazos bruscos y rápidos, pero cuya belleza se devela con la distancia, con el desenfoque. Ni a Van Gogh ni a Monet le preocupaba la precisión del trazo más que la sensación que produjera el motivo pintado; lo importante era la impresión que causara en el espectador (de ahí el nombre del movimiento). Esa impresión del momento es la que puede capturar el ojo entrenado con los datos masivos: desde una prudente distancia ver cómo se forman patrones, cómo las pistas falsas revelan sus sinsalidas y cómo las tendencias se resaltan para generar no una, sino muchas proyecciones.
Dejar de pensar desde la causalidad y enfocarse (o más bien desenfocarse) en las correlaciones viene con un costo: la tolerancia al error y a la inevitabilidad de la imprecisión modal. La estadística y el juego de censos solo servirá para las raras ocasiones en donde no haya datos, y seguro generará frustraciones cuando veamos que si pensamos en términos de «cuando cambia X, hay este porcentaje de probabilidad de que cambie Y» habrá muchos más resultados posibles satisfactorios pero incluso más banderas rojas. Nuestro cerebro adopta con gracia el análisis de las correlaciones porque con él juega todo el día… es la causalidad la que nos hacía doler la cabeza. Ya no es necesario, ya los datos están aquí.
Borges contaba en «Del Rigor en la Ciencia» sobre un imperio en donde habían perfeccionado a tal nivel el arte de la cartografía que habían logrado hacer un mapa detallado, tanto que el tamaño del mapa terminó siendo el del mismo imperio. Con la masiva cantidad de datos del comportamiento humano que estamos coleccionando (y que están recogiendo por nosotros) nuestro mapa del mundo será más grande que el mismo mundo, por lo que la tolerancia a no ver el detalle será compensada por un paisaje impresionante.
Lo que vamos a atestiguar con este cambio de pensamiento será asombroso. Cualquiera lo podrá ver con los ojos entrecerrados.
Notas:
La ilustración es un boceto en acuarela en papel A5 para un cuento que algún día publicaré.
La pintura es «Impresión: Sol Naciente» de Claude Monet, la cual terminó dando nombre al movimiento impresionista.
En este lugar pongo mis notas: ideas de negocio, pensamientos en borrador, pedazos de ensayos, citas a trabajos de otros y pequeños relatos (publicados y sin publicar).
Si le gusta un cuento, por favor cuénteme por algunared social; o si alguna idea de negocios le produce dinero, me debe un café. En eso soy irreductible.
26 Oct 2017
Corto ensayo sobre las correlaciones, Monet y Big Data
La forma como percibimos el mundo ha cambiado, y también cómo lo medimos. Para planear, primero medíamos un pedazo de la información que podíamos recolectar y analizábamos. Ahora debemos desaprender todo eso.
Esclavos de la causalidad («cuando X tiende a Y, debo hacer Z»), buscábamos precisión en las muestras de los datos para inferir el futuro, extrapolando sábanas de información que después doblábamos para quitarles las arrugas sin importar cuánto tiempo tomara, y así entregar una manta del tamaño de una servilleta planchada y templada; felices, la usábamos para predecir y proyectar. Y como no teníamos datos, extraíamos muestras, encuestábamos y derivábamos. Si algo salía mal, la causalidad nos mostraba que el error estaba en la muestra; si salía bien, el éxito era la proyección.
Siervos del miedo al error, invertimos millones en mejorar los datos y mejorar los artefactos encuestadores, sin ver que la proyección misma era la que estaba sujeta al error, por una razón tan grande como el mismo concepto de causalidad: por querer ver el detalle, nos volvimos ciegos al entorno. Fue una elección consciente en donde resignamos panorama por precisión. Éramos miopes a propósito, sin poder ver el bosque por estar tan cerca de los árboles.
Pero el análisis de las causas tiene alternativa: se puede reemplazar por el análisis de las correlaciones. Si X cambia, ¿qué tan probable es que Y también lo haga?
Esto no implica solo un cambio en la forma de hacernos las preguntas, sino en la forma como queremos llegar a los resultados. El objetivo deja de ser obtener soluciones más precisas: ahora queremos tener más soluciones.
Los datos masivos, el Big Data, suponen un cambio fundamental en la forma de abordar los problemas. Con ese enfoque damos por supuesto el exceso de información, sabiendo que tendremos más de la que podríamos procesar para encontrar causalidad. Con muchos datos, podemos entrecerrar los ojos, alejarnos un poco del cuadro, y con el desenfoque ocular comenzar a notar patrones manifiestos que antes eran invisibles por nuestra cercanía al problema.
Es como un cuadro impresionista, que visto de cerca solo revela brochazos bruscos y rápidos, pero cuya belleza se devela con la distancia, con el desenfoque. Ni a Van Gogh ni a Monet le preocupaba la precisión del trazo más que la sensación que produjera el motivo pintado; lo importante era la impresión que causara en el espectador (de ahí el nombre del movimiento). Esa impresión del momento es la que puede capturar el ojo entrenado con los datos masivos: desde una prudente distancia ver cómo se forman patrones, cómo las pistas falsas revelan sus sinsalidas y cómo las tendencias se resaltan para generar no una, sino muchas proyecciones.
Dejar de pensar desde la causalidad y enfocarse (o más bien desenfocarse) en las correlaciones viene con un costo: la tolerancia al error y a la inevitabilidad de la imprecisión modal. La estadística y el juego de censos solo servirá para las raras ocasiones en donde no haya datos, y seguro generará frustraciones cuando veamos que si pensamos en términos de «cuando cambia X, hay este porcentaje de probabilidad de que cambie Y» habrá muchos más resultados posibles satisfactorios pero incluso más banderas rojas. Nuestro cerebro adopta con gracia el análisis de las correlaciones porque con él juega todo el día… es la causalidad la que nos hacía doler la cabeza. Ya no es necesario, ya los datos están aquí.
Borges contaba en «Del Rigor en la Ciencia» sobre un imperio en donde habían perfeccionado a tal nivel el arte de la cartografía que habían logrado hacer un mapa detallado, tanto que el tamaño del mapa terminó siendo el del mismo imperio. Con la masiva cantidad de datos del comportamiento humano que estamos coleccionando (y que están recogiendo por nosotros) nuestro mapa del mundo será más grande que el mismo mundo, por lo que la tolerancia a no ver el detalle será compensada por un paisaje impresionante.
Lo que vamos a atestiguar con este cambio de pensamiento será asombroso. Cualquiera lo podrá ver con los ojos entrecerrados.
Notas:
Enlace para compartir: