Enseñanzas DATA 2024 para proyectar 2025

2024 está siendo un año muy intenso en proyectos y aprendizajes de proyectos en toda la región de Latino América.

Siguiendo nuestro propósito de impactar a organizaciones en la región tuvimos la suerte de poder aportar a proyectos:

• 65+ proyectos diferentes.
• 12+ sectores (banca/finanzas, CPG, Retail, ONG, Energia, Petróleo, Telco, Logística, Delivery, Dispositivos médicos, Academia, Agricultura, Alimentos).
• 12 países (CR, Hon, Gua, El Salvador, US, UK, RRDD, Col, Bol, Chi, Arg, Ecu).
• 9 tipos de proyectos (Ciencia, finops, Ingeniería, capacitación, optimización de dataductos y productos de datos, plataformas de inteligencia aumentada, Diagnósticos y estrategia, Coaching, Gobernanza).
• 950k ahorrados en optimización de infraestructuras de datos (finops).
• 12 paquetes publicados y actualizados

Debajo algunas de las cosas que rescato de estos proyectos, y su implicación de cara a 2025.

Más stakeholders entendiendo el impacto con datos.

Hace unos años nuestras conversaciones gravitaban principalmente con profesionales de datos o de TI. Durante el 2024 hemos visto cada vez una tendencia mayor a sumar en reuniones de Comité de Ejecución (Steering Committees) de proyectos (en ixpantia esto lo solemos hacer con frecuencia mensual) a diferentes actores que entienden que tienen un rol como parte de los proyectos de datos.

Es bueno ver que los proyectos de datos se consideran cada vez más holísticamente, y que para el éxito de los mismos se incluyen altas gerencias, el negocio (o usuario y experto), los equipos de datos y también TI. En particular, ha sido un gusto ver en 2 proyectos que hemos desarrollado nos tocó interactuar con equipos de recursos humanos con la perspectiva de gestión de cambio al incluir soluciones de analítica avanzada para lograr mayores niveles de adopción. En otro caso, aunque el proyecto se fue ejecutando con el COO y con TI, en varias reuniones de comité de ejecución pudimos interactuar con CEO y otros VPs para ir logrando una comunidad más amplia de actores involucrados en el éxito del proyecto.

Más allá de lo que están haciendo las muy grandes empresas de AI (OpenAI, Google, X, Anthropic), la bajada a tierra de AI a nuestra región sigue resultando en proyectos de impacto y cada vez mejor acompañados por diferentes perfiles en la organización para potenciar el éxito de estas iniciativas.

PYMES iniciando con dashboards y automatización para luego ir a mayor sofisticación.

Por muchos años muchos de nuestros proyectos giraron en torno al sector de banca y finanzas y con grandes empresas en retail y consumo masivo. Típicamente organizaciones con altos presupuestos y equipos de TI y Datos grandes.

Ya en últimos años, y particularmente durante 2024, vemos empresas pequeñas y medianas, que a lo largo de los años han mantenido su base de clientes y han ido creciendo orgánicamente, que van desde 30 a 150 empleados y con varios años de datos, y ahora ven la oportunidad de desarrollar soluciones que tomen en cuenta historia de datos y transacciones e interacciones con clientes para generar impacto y competitividad. Esto lo hemos visto tanto para aspectos comerciales de cara a clientes actuales y potenciales clientes (ventas, mercadeo, segmentación, campañas, servicio a clientes, etc) como también hacia el lado de la operación (logística, manufactura, calidad, talento humano, etc).

Las herramientas y la ciencia están haciéndose más accesibles a nuevos perfiles de empresas, en tanto sus equipos de liderazgo (fundadores o gerentes) ven la posibilidad. No se necesita mucho más que existencia de datos (en ERPs o CRMs para comenzar) y 1 o 2 personas que puedan dedicar algo de tiempo para generar soluciones que impactan desde áreas comerciales hasta aspectos de producción. Este año pudimos colaborar con 2 empresas con este perfil, y estamos por comenzar varios más con otros clientes en este rango de tamaño. En uno de estos casos, partiendo de los datos existentes en un ERP, pudimos impactar decisiones comerciales y reuniones con clientes a través de dashboards e inteligencia aumentada con la que ahora cuentan los vendedores y la gerencia. En otro de estos casos estamos impactando el proceso de planeamiento de la producción para la compra de insumos y la gestión óptima de personal y proveedores.

Calma luego de la tormenta de GenAI.

El final de 2023 e inicio de 2024 sufrieron en nuestra región la ola de GenAI. El uso creciente de ChatGPT por parte de muchos profesionales, un poco de ruido de consultores y proveedores de soluciones e incluso de empresas como Microsoft impulsando co-pilot y otras soluciones. Aunque esto comenzó a hacer más accesible la inteligencia artificial a muchos y ayudó a abrir los ojos de  una base ampliada de gente (esto es bueno), también se generó algo de ruido y expectativas excesivas de lo que se puede lograr. Comenzamos a recibir llamados de organizaciones pidiendo chatbots y creyendo que esto era casi un ´plug & play´. Nos tocó volver a estas organizaciones, explicando pros y contras y diagramando arquitecturas para dejar claro lo que se requería para tener soluciones utilizando LLMs de forma efectiva. En uno de estos casos hasta nos tocó definir como navegar datos tabulares para que esta solución diera respuestas desde bases de datos y tablas.

Esto lo vimos claramente (a pesar del ruido que existía en el mercado) y nos tocó apaciguar a clientes, explicar, trabajar junto con ellos, y alinear expectativas a la realidad. Ya cerrando este año vemos que las aguas se han calmado, que los profesionales fueron encontrando espacio para el buen uso de herramientas de GenAI para algunos tasks en sus flujos de trabajo, pero que ya no se dejan llevar por otro proveedor de soluciones de chatbots enlatadas.

Incluso hemos desarrollado una solución a lo interno (que toma información de podcasts data latam para generar una interacción vía chatbot) y así generar un laboratorio interno de valor para nuestros profesionales de datos y para explicar aspectos de LLMs a clientes. Vemos un 2025 en el que se podrán plantear soluciones tradicionales de IA en los que LLMs y GenAI en general podrá tener un rol a nivel de interfaz. Mientras tanto seguimos experimentando a lo interno con diversas formas de Gen AI porque también entendemos que esto va a ir generando, de forma gradual, impacto en nuestra región.

Graduación hacia proyectos DATA de mayor complejidad.

Tuvimos durante este 2024 varios proyectos que inician con entender la situación para luego plantear un primer proyecto de impacto rápido. En varios casos lo que nos tocó hacer es iniciar ayudando a organizaciones a hacer un diagnóstico de situación (mapeo de fuentes de datos, sistemas, procesos, herramientas) y definir una lista priorizada de proyectos de datos viables en la organización, según criterios elaborados con estas organizaciones.

Típicamente esto permite interesantes conversaciones a nivel de gerencias y líderes en las organizaciones, que permite comenzar a vislumbrar las alternativas y su respectivo impacto (con aproximaciones de ROI o retorno a la inversión). En muchos casos, sólo esta conversación que se genera da lugar a un necesario marco de referencia común sobre DATA. En algunos casos hasta pudimos hacer talleres usando estos resultados del diagnóstico.

Lo que suele seguir es encontrar un proyecto DATA inicial donde se intercepta alguna decisión en algún proceso de la organización, que puede potenciarse con datos. Hemos visto que muchas veces un impacto rápido se logra en áreas comerciales, donde el resultado inicial lo pueden sentir tanto los vendedores como los supervisores, tanto a través de dashboards como también en algunos casos a través de automatización de procesos repetitivos o incluso algunos algoritmos que por ejemplo optimizan flujos comerciales de leads agrupándolos según criterios de valor para la empresa.

En algunos casos hemos visto incluso este paso de diagnóstico a primer proyecto de impacto para luego pensar en proyectos de analítica avanzada y predicción. Existe un ciclo de maduración adecuado para que una organización con esa chispa inicial e interés en generar impacto con datos, vaya dando los pasos necesarios para finalmente llegar a pensar en el desarrollo de soluciones de inteligencia artificial (ML, algoritmos) para generar productividad e impacto.

AI Tradicional y automatización sigue siendo alta prioridad y de alto valor.

En los inicios de ixpantia (2016) se requería un proceso de educación y evangelización alto para que las empresas pudieran ver con buen nivel de claridad el potencial en sus datos. Nos tocó ver múltiples interacciones con diferentes actores en las organizaciones para que se entendiera el impacto potencial.

Ya en los últimos años y particularmente en 2024, vemos que los clientes tienen bastante mayor claridad del potencial del Machine Learning o Aprendizaje de máquina. Los clientes piden soluciones que utilicen ML partiendo de que saben que cuentan con cuerpos de datos de valor. Hemos tenido varios casos dónde partiendo de complejas y completas fuentes de datos, hacemos una exploración inicial para entender un problema y encontrar patrones, y luego de la reunión Go-Escenarios (hito importante en proyectos de ciencia en ixpantia) nos abocamos a generar predicción de por ejemplo pedidos, churn, fallas o outcomes de procesos.

La automatización de procesos ricos en datos sigue ganando en ROI para proyectos iniciales. Lo que hemos visto también es que las organizaciones que han intentado usar soluciones enlatadas de RPA (robotic process automation) van encontrando también limitaciones en estas, y se vuelcan a desarrollar soluciones code-first. Aunque hay lugar para todo, y para procesos simples el RPA enlatado puede funcionar, ya nos es claro cuando sugerir desarrollos y buen nivel de documentación.

Volviendo al punto de Gen AI (para lo que si vemos un espacio hacia adelante) todavía dólar por dólar, lo que ofrece IA tradicional (ML y algoritmos para predicción y agrupación, y automatización), es de muy alto impacto y con mayor certeza de dar valor.

La adopción sigue siendo alta prioridad.

Tal como se describe en otros puntos en este blog post, cada vez es más claro para los diferentes actores involucrados en innovar con datos, que esto va más allá de simplemente buena ciencia de datos, buena ingeniería de datos, o adoptar una solución low-code (PowerBI o Domo por nombrar algunas).

Este es un camino que hemos recorrido de múltiples maneras. Desde organizaciones pensando en adopción masiva de dashboards e implementando low code como estrategia (con sus pros y cons que serían motivo de otro blog post en sí mismo), hasta salir de low code y sus limitaciones justamente para ir hacia soluciones a medida (y con código) para así generar productos suficientemente dúctiles para adaptarse tanto a usuarios finales (respecto a usabilidad y tiempos de respuesta) como a quienes tienen que mantener y evolucionar este tipo de productos de datos. Tenemos ejemplos de organizaciones que buscaron atajos (soluciones IA enlatadas) y que luego se encontraron con problemas tanto de implementación como de adopción.

Para lograr adopción hay muchas mejores prácticas a tener en cuenta, pero muchas de estas que aplicamos se pueden resumir en tener al usuario en mente y como parte del proceso desde el inicio. Las organizaciones con las que hemos trabajado durante 2024 vienen con esto cada vez más claro y dispuestos a pensar en adopción para lograr el impacto que están buscando. A medida que madura la innovación DATA en general, esto ya es tema que va más allá de los desarrolladores, y hacia adelante la conversación sobre desarrollos de soluciones IA seguirán incorporando a diversas áreas e incluso HR para gestionar cambio.

Pensamiento sistémico de IA en la empresa.

En nuestros inicios, y durante muchos años, ixpantia estuvo ayudando a clientes a desarrollar soluciones específicas. Recuerdo varios casos de proyectos en los que nos llamaban para desarrollar ´un modelo´, por ejemplo de churn o de predicción de fallos. Eran soluciones puntuales, para las cuales existían datos, y nuestra entrega era un modelo o solución. Pero esto partía de unidades de datos y quedaba luego todo la implementación para otra gente y en futuras etapas.

Vemos que es cada vez más claro que para aproximar soluciones de datos de impacto, suma mucho entender de forma sistémica como los datos afectan diferentes etapas de los procesos y a diferentes unidades y sistemas en la organización. Por ejemplo, para una solución que nos tocó desarrollar para predecir órdenes y pedidos para clientes, es clave tener en cuenta los sistemas alrededor del proceso comercial y poder sincronizar estas predicciones con dichos componentes.

Se nota ese paso de soluciones puntuales a soluciones que tienen en cuenta sistemas. Se ve un pensamiento más holístico que potencial la adopción.

DATA FinOps para el buen manejo de costos Cloud.

Esto ha venido creciendo pero desde finales de 2023 y en todo el 2024 nos hemos encontrado con muchos clientes en los cuales los costos cloud para lo referente a datos son mucho mayores a los que se había anticipado. Creo que los grandes proveedores cloud, en latam prevalentemente Microsoft Azure y GCP, han sido agresivos comercialmente y han sumado a empresas, muchas veces haciendo algunas predicciones de costos finales que terminan no siendo realistas.

Nos ha tocado llegar a establecer procesos para que las organizaciones puedan contener, controlar y supervisar la nube. En varios casos (bien documentados en nuestro blog) hemos reducido substancialmente los costos logrando en un caso en particular bajar hasta un 90% los costos. Aunque este último resultó de lograr una solución híbrida cloud - on premise, si vemos que la aplicación de los conocimientos que hemos adquirido (documentados ya en un framework de trabajo) nos permiten incluir procedimientos, establecer una cultura de trabajo para proyectos de datos, y con todo esto lograr buen nivel de reducciones de costos y luego contener estos costos a largo plazo.

Gobernanza de datos.

Desde nuestros inicios en 2016 hemos recomendado a clientes procedimientos para manejar de forma segura los datos y así lograr buen nivel de calidad de los mismos y con ello productos de datos de valor e impacto para la organización.

Pero claramente en los últimos 18 meses hemos tenido muchos más acercamientos con clientes que expresan esta necesidad de programas de Gobernanza de Datos. Las organizaciones que iniciaron años atrás con proyectos de datos, y que ya están sacando valor de los mismos, ven que es necesario mantener la seguridad, calidad e integridad de los datos, en un concierto de nuevos sistemas incorporándose mientras otros salen y el personal en las organizaciones cambia. En estos contextos, lograr impacto con datos a largo plazo en organizaciones requiere generar un marco de gobernanza de datos.

Sobre esto, tenemos múltiples ejemplos con organizaciones operando en un país, en más de un país y con multinacionales. Cada caso es diferente pero la aplicación de un framework para llegar rápido a decisiones que generan una sólida base de gobernanza es común y algo en lo que hemos trabajado mucho.

Podemos anticipar que la gobernanza de datos será un tema creciente, incluso para las organizaciones que comienzan con sus primeros productos de datos y que ahora fácilmente pueden incorporar desde el inicio mejores prácticas de gobernanza. 

IA llegando a más verticales y tipos de empresas.

En ixpantia siempre hemos tenido un buen nivel de diversidad de tipo de proyectos en diferentes verticales, incluso cubriendo ONGs, startups y Pymes en diferentes verticales. Incluso esta variedad nos ha permitido una sana polinización cruzada. También hemos tenido un balance entre trabajos con multinacionales y medianas empresas.

Dicho esto, en nuestros inicios había 2 verticales que se destacaban por ser más proactivos, buscarnos más, y querer hacer más con sus datos: banca/finanzas y CPG. Cerca de uno 45% de nuestros proyectos por bastante tiempo estuvieron en este sector, caracterizado por ser empresas medianas a grandes e incluso muy grandes (multinacionales).

En los últimos 18 meses hemos visto ya proactividad de otros sectores (academia, salud, hospitality por nombrar algunos), incluso en verticales más tradicionales como manufactura y agroindustria, buscando hacer más con sus datos. Como se menciona en el punto sobre Pymes adoptando IA, las herramientas son cada vez más conocidas y accesibles, y esto habilita a nuevos jugadores a poder encarar IA en sus organizaciones.

También hemos visto como multinacionales que operan en la región, encuentran proveedores y talento local que puede generar y evolucionar estas soluciones IA tanto a nivel local como para las corporaciones en general.

De nuestra parte esto ha conllevado otros interesantes desafíos para incluir más ´evangelización interna´ y gestión de proyectos interactuando con más actores. Es predecible que para 2025 y hacia adelante sigamos viendo cada vez más innovación con datos desde nuestra región, para la región y para el mundo, abarcando cada vez más verticales y empresas medianas a chicas (Pymes) que logran generar impacto con datos.