Thursday, September 8, 2016

User centricity: the biggest challenge in digital analytics and marketing.


There is only one boss. The customer. And he can fire everybody in the company from the chairman on down, simply by spending his money somewhere else. Sam Walton.

The sentence is nothing but true. It's simple and responds to common sense above everything. It was pronounced by Sam Walton, founder of Walmart. This represents by itself a change of the paradigm of performance and operations optimization from store-centric (or website-centric) to customer-centric or, in a more general perspective, user-centric, understanding user as a customer or a potential. The folks from Wharton University in Pennsylvania are on the lead of customer-centricity and customer analytics research. Many applications come out from this kind of analytics: customer lifetime value, in-store analytics, etc.

One thing, however, is also clear: a customer, before becoming a customer, is just an user, flowing through different stages of its cycle (attention, awareness, etc.). This distinction between customer and not-yet-a-customer is specially important when it comes to a website or a native app. In other words, how does this shift of paradigm apply in a web-based environment? We have been observing the transformation from session-based to user-centric tracking and optimization.

Over the last months we have been witnesses of how the digital analytics tools have been shifting their main reports focusing on the user. Tools like Google Analytics report users before sessions, while some months ago it was doing it in the opposite way. For instance, look at the order in which Google Analytics reports: first users then sessions (for the App views).




Here we already face the first challenge: how to define a user. We will come with this in other posts. Before that, I want to recall a situation we faced some time ago while doing consultancy for a e-commerce site in the European market. We were requested to understand how the sessions were browsing in terms of multi-category behavior. Concretely, the website had a header looking like this:


The problem was to understand the share of sessions that were browsing through only one category, through two categories, through three categories, etc. over different periods of time. We had a split looking like:


Even more, we also showed how the carts were looking like in terms of cross-category items:


The management reacted very worried, and they immediately initiated actions towards incrementing the share of sessions that were browsing through more than one category, and to increase the number of distinct categories on each basket. If you agree with this course of action we must say you are doing it probably wrong. Indeed, all intents to increase the cross-category sessions and carts were unsuccessful.

What could have been a better approach? A good advise: put the user in the center and understand the intention of each one of its sessions. You can't simply pretend to have every user stepping at all your content on each session. Instead, you can get the most out of each session by understanding the intention of such session. If a user is visiting category A-related content on a given session, then make sure it performs a purchase over such category. The important is to prevent the user from spending its money somewhere else.

Is this everything we can take out of the user? On a session level, probably. But, what if we widen the time window? Instead of looking which category the user browses on a single session, we could check all the sessions that user performed over a week, month, quarter, etc. In the case we have being considering, the charts looked significantly different:


As we can see, the share of users that only browse over one category dropped from 60% to 40%, while the share of users that browse over 2 categories increased from 20% to 30%. And here is where we can induct some change. By incentivizing the user to reach other categories (again, over different sessions) we can improve the awareness of the user over such categories not browsed before. If the content is appealing enough, we might get a chance that the user will actually buy over it.

Another analysis that was interesting for this case was the one showing the distinct categories bought by every customer over a period of time, considering all the orders placed. We had a situation looking like:


which transformed into this:


after applying direct marketings action whose goals were precisely that: to increase the share of wallet of the user over different sessions and, probably, over different orders.

That is, be patient, and keep the user in your focus. Don't overwhelm it, and take advantage from each session... one at a time.

There is, however, a new variable that comes as an input in the equation of user-centricity, which applies specially to digital environments: the device used to reach the site. Identifying the user when it browses over different devices is a big challenge. Universal Analytics enables us to identify at least one important bunch of such users, and it can be applied for sites that somehow identify them via login, newsletters, etc. The reports look very promising:




This information is extremely useful to understand the intention of a given user (or a set of users) when reaching the site with the different available devices. For sure is not the same intention when a user reaches the site with a smartphone in the morning or with a tablet at the afternoon. Placing the user in the center is, at the very end, about understanding its intention on each one of the sessions at each seasonal moment (in-day, in-week, etc.), with each one of the different devices. To make it a bit more complicated, we can also introduce the fact that some of these users might be also visiting your traditional store (in case you have one, of course). Many sites (fashion industry, mainly) allow you to buy over the web of App and pick it in-store. Lots of research is currently ongoing, in order to track in-store behavior. For instance, Estimote is doing some efforts towards this goal.

In following posts we will talk about the shift of paradigm on the reporting strategy (not necessarily about tools but techniques and contents) whose center is on Customer Lifetime Value (CLV).

In any case, if you have more questions or issues with your omnichannel approach, don't hesitate to contact us here.

Tuesday, September 6, 2016

Haciendo un uso efectivo de los datos. Puede ser que no lo estés haciendo.


Los datos son el nuevo petróleo. Como tal, debe ser procesado y refinado para poder ser usado. ¿Hace tu compañía un uso efectivo de los datos?

Tal y como comentamos en el post fundacional, según FORTUNE en un post de principios del 2016, sólo el 20% de los directores piensan que su compañía hace un uso "altamente efectivo" de los datos. Ahora, la pregunta del millón es: ¿hace su compañía un uso efectivo de los datos? O, mejor aún, ¿su compañía usa datos?

Todas las compañías tienen datos, y es relativamente fácil comenzar a usarlos: sencillamente comience recolectando algunos datos en diversos sistemas y haga algún procesamiento sobre ellos (aunque sea manual). Muy rápidamente nos damos cuenta que hacer un uso (altamente) efectivo de los datos es bastante más difícil de lo que habíamos imaginado. En cualquier caso, centraremos el resto de este post en aquellas compañía que, de una manera u otra ya usan datos y desean hacer un uso más efectivo de los mismos.

El ejercicio clave es determinar qué quiere decir hacer un uso (altamente) efectivo de los datos. Para ello, lo haremos de la manera inversa: determinaremos qué es un uso inefectivo de los datos a partir de situaciones que nos hemos ido encontrando en los últimos años. ¿Serás capaz de pasar el test?

Test #1: ¿Qué tres KPI (indicadores clave de rendimiento) compruebas cada mañana cuando te sientas en tu escritorio? Si la respuesta a esta pregunta no es otra cosa que un conjunto claro y conciso de indicadores o cuadros de mando, entonces tu compañía hace un uso inefectivo de los datos.

Test #2: ¿Los datos que extraes generan alguna duda sobre su calidad? ¿Son datos fiables? ¿Son legibles? Si una sola de las respuestas es "no", entonces tu compañía hace un uso inefectivo de los datos.

Test #3: ¿Tardas demasiado tiempo en extraer datos? Entonces tu compañía hace un uso inefectivo de los datos.


Test #4: ¿Puedes extraer y cruzar datos de diversas fuentes? Si no, o se trata de un proceso manual, o algunas de las fuentes no son accesibles, entonces tu compañía hace un uso inefectivo de los datos.

Test #5: ¿Puedes leer grandes cantidades de datos? Si Excel parece quedarse corto y no se usa ninguna otra herramienta para hacerlo, entonces tu compañía hace un uso inefectivo de los datos.

Test #6: ¿Puedes extraer datos por ti mismo? Si necesitas estar permanentemente pidiendo ayuda (normalmente por la complejidad de los sistemas involucrados), entonces tu compañía hace un uso inefectivo de los datos.

Test #7: ¿Los descubrimientos son comunicados y entendidos (no necesariamente compartidos) por todo el mundo? Si los datos dan lugar a confusión o son pobremente comunicados, entonces tu compañía hace un uso ineficiente de los datos.

Test #8: ¿Experimentas montones de burocracia que hace que quienes tienen que tomar las decisiones no sean provistos con la información correcta y a tiempo? Entonces tu compañía hace un uso inefectivo de los datos.

Test #9: ¿Tienes preguntas concretas que debas contestar, y entonces determinas dónde se encuentra la información necesaria para responderla? Si es que no, entonces tu compañía hace un uso inefectivo de los datos.

Test #10: ¿Tomas acciones concretas a partir de los datos y de los descubrimientos? Si es que no, entonces sólo estás coleccionando información. Por lo tanto, tu compañía hace un uso inefectivo de los datos.

Tu compañía, pues, alcanza una cultura data-driven sí y sólo sí ninguna de las diez situaciones arriba mencionadas tiene lugar. Por lo tanto, ¿cómo las resolvemos?

Solución para #1: Definir KPI, organizarlos y conceptualizar cuadros de mando. Comienza por una servilleta y después pásalos a un papel. Luego haz que alguien lo tenga listo cada mañana en un PDF correctamente distribuido, y asegúrate de tenerlo en tu bandeja de entrada cada mañana. Por último, evoluciona hacia una herramienta de BI.

Solución para #2: Si los datos no son fiables, entonces debemos investigar en qué punto los datos dejan de serlos, tanto entre sistemas como dentro de los mismos. De la misma manera, es posible que haya errores en el proceso de extracción o que los procesos de transformación y manipulación sean defectuosos. El primer caso requerirá probablemente de procesos de congelación de datos. El segundo y tercer caso probablemente necesite nuevas reglas de manipulación.

Solución para #3: Si los datos tardan años en ser extraídos, es posible que las fuentes sean lentas de por sí (API de SalesForce, por ejemplo). También es posible que los procesos de transformación y manipulación presenten fallos o que la herramienta de reporting no esté optimizada. Por último y no menos importante, es posible que que tu departamento de BI esté ahogado en peticiones.

Solución para #4: Si tienes muchas fuentes de datos que necesiten ser accedidas y cruzadas. se deberán definir procesos ETL (Extract, Transform, Load). Si el volumen de datos es verdaderamente grande, un Data Warehouse (DWH) puede ser una buena solución.

Solución para #5: Lo primero es preguntarse si se necesita tal cantidad de datos. Si resulta que sí, entonces se pueden hacer pre-procesamientos y cálculos de datos en servidor. Si esto no es posible (aunque apostamos a que sí se puede), se deberá buscar una herramienta que sea capaz de leer tal cantidad de datos.

Solución para #6: La capacidad de servirse por mismo es una quimera para muchas compañías, pero a la vez es algo deseable. Se debe comenzar por decir que no a peticiones sencillas. Forma a tu gente y hazlo muy simple (no necesariamente barato): implementa una herramienta de reporting y enseña a tu gente (desde el analista hasta el CEO) a usarla. Se puede comenzar por tablas muy sencillas que no pueden ser modificadas. Más adelante (mucho más temprano de lo que puede parecer) los usuarios irán pidiendo derechos de modificación y edición.

Solución para #7: Comprueba dónde están los cuellos de botella. Asegúrate que tus analistas tengan buenos dotes de comunicación. Aplica el Principio de Comunicación Piramidal, de Barbara Minto. Y, por favor, evita presentaciones con decenas de diapositivas. La clave es el foco.

Solución para #8: Nuevamente, hay que analizar dónde están los cuellos de botella. Asegúrate que las personas que tienen que tomar las decisiones pueden acceder a los datos (¡y asegúrate de que usan datos!). También es posible que el departamento de BI o de Análisis necesite mejorar en transparencia. La clave puede estar en mejorar los procesos de feedback.

Solución para #9: Por favor, evita el Síndrome de Diógenes en versión datos. No es necesario almacenar todos los datos a la espera de que, por algún milagro, se obtengan descubrimientos a partir de ellos. Hay que conocer bien la estrategia y las operaciones del negocio para identificar los puntos claves que necesiten una decisión. Entonces, y sólo entonces, trata de descubrir qué datos son necesarios. Si los datos están ahí, úsalos. Si no, comienza a almacenarlos inmediatamente.

Solución para #10: Un buen consejo es el de evitar tener montones de cuadros de mandos y KPI (nuevamente, la clave es el foco). Una buena herramienta es el del "Test de las Tres Capas de para qué" (Three Layers of So What Test). A cada indicador, cuadro de mando o análisis se le pregunta: ¿para qué? Frecuentemente, la respuesta a esta pregunta vuelve a requerir nuevamente la pregunta: ¿para qué? Si a la tercera vez que se hace la pregunta no aparece una recomendación clara de qué hacer, entonces el análisis, KPI o cuadro de mando es totalmente inútil. Tírelo.

En todo caso, si esto suena muy complicado, no tiene más que contactarnos: es.ducks-in-a-row.es.

Para acabar, sólo queremos mencionar que los datos representan, o deben representar, acción. Para que esto pase, los datos deben ser accesibles, fiables y comunicados de manera eficiente. Entonces, y sólo entonces, tu compañía estará haciendo un uso efectivo de los datos.

Wednesday, August 31, 2016

Curso de Google Analytics para principiantes en Barcelona


Nunca consideres el estudio como una obligación, sino como una oportunidad para penetrar en el bello y maravilloso mundo del saber. Albert Einstein.

Una de las virtudes de saber, es que nos gusta que otros sepan también. Para nosotros no hay nada más importante que el conocimiento. Bien a través del obtenido por los datos, o bien a través de la transmisión de lo que mejor sabemos hacer: manejar datos y herramientas.

Con este propósito, abrimos nuestro primer curso de Google Analytics para principiantes (o Google Analytics 101). En realidad, Google Analytics, como herramienta que es, es una excusa para meternos en el apasionante mundo de la analítica digital. La analítica digital es la ciencia que mide las interacciones de los usuarios con nuestro site o App. El propósito final de la analítica digital es la de aportar una base sólida basada en datos para la optimización de la experiencia de usuario para que el usuario realice la acción pretendida (compra, registro, descarga, etc.) con la mayor eficiencia y eficacia posibles. La analítica digital toma datos de diversas fuentes, algunas de ellas cualitativas y otras cualitativas, y toma a los usuarios desde cualquier canal (aproximación multi u omnicanal), algunas de ellas online y otras offline. Como vemos, al final estamos hablando de la aproximación 360 al comportamiento e interacción de los usuarios con nuestro producto digital.

A medida que los negocios, los mercados y la tecnología evolucionan, también lo hacen los requisitos del analista digital. No es difícil ver que es un perfil cada vez más demandado (y poco a poco mejor pagado). Así que, tanto si ya se trabaja en analítica digital como si es el primer aterrizaje en ella, la formación en este ámbito es un paso que no podemos obviar.

Por supuesto, cuando hablamos de analítica digital no podemos dejar de pensar en Google Analytics. Líder indiscutible durante años entre las herramientas de analítica digital, Google Analytics ofrece, a partir de diversos grados de implementación (siempre escalable), una gran variedad de informes y datos a partir de los cuales podemos comenzar a optimizar nuestros productos digitales.


Cuesta mucho trabajo imaginarse la analítica digital sin la presencia rutilante de Google Analytics. Este curso va sobre dominar Google Analytics desde sus más tiernos cimientos. A partir de ahí, nos podremos convertir en ninjas no sólo de Google Analytics sino de la analítica digital, hasta encontrar la mejor herramienta para nuestras necesidades. En este momento, Google Analytics ofrece tres grandes ventajas:

Tiene una versión gratuita plenamente funcional (también ofrece versiones de pago). No hace falta hacer ninguna inversión en la herramienta en sí para poder comenzar a disfrutar de una infinidad de informes.


La implementación básica es tremendamente sencilla (y de ahí al infinito). Con sólo copiar y pegar un trozo de JavaScript en todas tus plantillas, podrás comenzar a recabar datos de manera inmediata.


Tiene el sello de Google: penetración en el mercado, recursos, documentación, formación, etc. En la red de usuarios de Google Analytics podremos encontrar infinidad de recursos, foros, add-ons, etc.


Sencillamente, no podemos imaginar un mejor aterrizaje en la analítica digital que aquel hecho a través de Google Analytics.

¿Qué vas a encontrar en este curso?

El curso está orientado en cuatro grandes bloques: principios de monitoraje, adquisición de usuarios, comportamiento de usuarios y objetivos.

  1. Comenzando con Google Analytics:
    1. ¿Cómo funciona Google Analytics?
    2. Métricas y dimensiones.
    3. ¿Cuáles son las métricas que me importan?
    4. Introducción a la segmentación.
  2. Adquisición: ¿cómo llegan mis visitas?
    1. ¿De dónde llegan mis visitas y mis visitantes?
    2. Tráfico Directo, Referentes, SEO y SEM.
    3. Marcando campañas de Emailing y Afiliados.
    4. Agrupación de canales.
  3. Comportamiento: ¿qué hacen en mi site?
    1. ¿Qué páginas y contenidos han mirado?
    2. ¿Por dónde entraron al site? ¿Por dónde lo han abandonado?
    3. ¿Qué buscaron internamente?
    4. Agrupación de contenidos.
  4. Objetivos: ¿hicieron lo que pretendemos?
    1. Definir objetivos: micro y macro.
    2. Reportes de objetivos.
    3. Reportes de E-Commerce.

Este primer vistazo a la analítica digital a través de Google Analytics consta de dos sesiones consecutivas de tres horas cada una. El contenido del mismo es 100% práctico y usaremos una implementación muy completa con una gran cantidad de datos reales. El precio del curso es de 120€, y será ofrecido en nuestras oficinas, en Sant Cugat del Vallès.

¿Te lo vas a perder? ¿Vas a perder la gran oportunidad de entrar en el apasionante mundo de la analítica digital? Clica aquí para más información. Las plazas son limitadas.

¡La oportunidad de entrar por la puerta grande en la analítica digital está en frente de ti!

Tuesday, August 30, 2016

Bed & Breakfast Analytics: lanzamos blog en castellano

Si hablas a una persona en una lengua que entiende, las palabras irán a su cabeza. Si le hablas en su propia lengua, las palabras irán a su corazón. Nelson Mandela.

Hace tiempo que veníamos pensando en abrir una sección en Bed & Breakfast Analytics para los castellano-parlantes. Después de mucho trabajo en distintos ámbitos, nos hemos lanzado a postear (lo siento, aquí no hemos encontrado una traducción que nos convenciera) en castellano. Eso sí, fieles a nuestro estilo.

Como buen post fundacional, queremos hablar de quiénes somos y qué hacemos. Nuestro blog, al que hemos llamado Bed & Breakfast Analytics es el blog de nuestra compañía, Ducks|in|a|row. Somos una consultoría de reciente creación, que se especializa en la gestión efectiva y eficiente de los datos. Nuestros servicios incluyen: análisis predictivo, analítica de clientes, analítica digital, optimización de la tasa de conversión, reporting, gestión de los flujos de información, optimización de procesos y formación.

El eje central que une todos estos puntos es el de los datos. Todas las compañías tienen datos. Muchas veces están diseminados en diversos sistemas que, muy frecuentemente, hablan lenguajes diferentes que difícilmente se entienden. De esta manera, la consolidación de las diversas fuentes de información, en caso de ser posible, se acaba realizando manualmente. El resultado final de esto es una inversión considerable de tiempo en la manipulación de los datos, y no en su análisis, que es lo único que lleva a la accionabilidad de los mismos. Si un análisis, un informe, un gráfico o un dato suelto no lleva en última instancia a un acción o decisión, entonces estaremos perdiendo el tiempo. Este es el gran foco de Ducks|in|a|row: generar acción de manera eficiente.

¿Qué quiere decir eficiente? En un artículo de Fortune de principios del 2016, se mencionan tres grandes problemas en la gestión de datos. Analicémonos con algo de detalle, aunque volveremos a este punto en futuros posts.

Alrededor del 80% de las grandes compañías han visto como alguna decisión estratégica de importancia se ha ido al garete por culpa de datos erróneos. Esto suele pasar cuando las fuentes de datos son inestables o deben manipularse frecuentemente y de manera manual.

Un 72% de tales empresas han experimentado retrasos en los tiempos de entrega de información a las personas que tienen que tomar las decisiones. Ésta es una consecuencia obvia de la desestrucutración de los datos, de un exceso de manipulación (y falta de análisis) y de una estrategia de reporting no existente o mal implementada.

Sólo un 27% de los directores cree que su compañía hace un uso efectivo de los datos, y un 32% piensa que las montañas de datos han hecho que las cosas vayan a peor. Éste es un síntoma que hemos notado muy frecuentemente: se tiende a invertir mucho tiempo (y dinero) en recolectar datos y muy poco a consolidarlos o analizarlos.

Siempre se ha dicho que los datos son el nuevo petróleo. Efectivamente, se puede extraer mucha información de los datos, pero, al igual que el petróleo, hay que definir bien los procesos de refinación. En el caso de los datos, esto hace referencia a procesos de automatización de limpieza, consolidación, reporting y análisis.

En definitiva, no es fácil hacer un uso efectivo de los datos, pero es posible. Nosotros podemos ayudarte.

Espero que nos acompañes leyéndonos. ¡Iremos publicando tan frecuentemente como nuestros quehaceres nos lo permitan!

Friday, August 26, 2016

New course: Google Analytics for beginners.



The essence of training is to allow error without consequence. Orson Scott Card.

At Ducks|in|a|row we are excited. We are about to offer our very first course: Google Analytics 101. This course is intended to cover the first contact with the tool: how the interface works, which are the most common reports, how to read them, and, most importantly, why do we measure.

In any case, we should not forget that Google Analytics is just a tool. It is not an end by itself, but an instrument allowing us to reach such end. The end itself is Digital Analytics. The definition I like the most is the following:

"Digital Analytics is the analysis of qualitative and quantitative data from your business and the competition to drive a continual improvement of the online experience that your customers and potential customers have which translates to your desired outcomes, bot online and offline."

Google Analytics mainly helps driving insights from quantitative data. Google Analytics measures users' behavior in terms of a relation between dimensions and metrics in a temporal context. Data for qualitative analysis must be gathered from other sources: panel groups, surveys, chat, customer care data, etc.

The ultimate goal of both, qualitative and quantitative analysis, is to learn and to derive action: understand what works, what does not, and what worths a try. However, too much data (and less analysis) leads to data paralysis. Digital Analytics is about analyzing and organizing data so that actions can be actually derived and properly measured. We already talked about this in an older post
When implementing the actions, we should not be afraid of failing. Just be afraid if you don't learn from such mistakes, and make sure you react fast. Failure is tolerated. Idleness is not.

One last thought before explaining the contents of the course: data can tell you whatever you want if you torture it enough. This means that the analysis that will come out of Google Analytics' data will still go through the QA process, as well as the conclusions reached out of it. Whatever interpretation you extract can be as well biased or even wrong. Again, implement, measure, and react fast. Very fast.

The course itself is an introduction to Digital Analytics. Google Analytics is a way of touching that data and techniques. We will cover basic Digital Analytics terminology, such as KPI, metric, dimension filter, and segment, and how they are obtained in Google Analytics. We will learn about traffic sources, content consumed, and goal measurement. However, the most important topic acts as an umbrella for these topics: why do we measure? What do we want to accomplish by tagging a site or an App?

Register quick as places are limited. You will get more information here.


Good measuring!

Monday, June 27, 2016

New partnership with Visual Website Optimizer: taking A/B testing and personalization to the next level.

Front-end processes optimization must include A/B and multivariate testing. You should be doing A/B testing. Ducks|in|a|row makes it much easier for you know!


We are very proud to announce that we have closed a partnership with Visual Website Optimizer for Spanish-speaking regions (Spain and LATAM). This will allow Visual Website Optimizer to consolidate its presence in Spanish-speaking regions by having experienced consultants offering services in local language and local support. At the same time, this will allow Ducks|in|a|row to consolidate its services of Conversion Rate Optimization, UX, and Digital Analytics, by offering services via one of the most used tools in the world for A/B testing. Actually, is one of the best tools for Conversion Rate Optimization.



What is Visual Website Optimizer?

It's an easy to use A/B testing tool that allows marketing professionals to create different versions of their websites and landing pages using a point-and-click editor (no HTML knowledge needed) and then see which version produces maximum conversion rate or sales. Integrating the split testing software is dead-simple: copy-paste a code snippet in your website once and you are ready to go live.
Visual Website Optimizer is also a flexible multivariate testing software (full factorial methodology) and has number of additional tools like behavioral targeting, heatmaps, usability testing, etc. With 100+ features in Visual Website Optimizer, you can be sure that all your conversion rate optimization activities are covered by our product.

Very quick: what is an A/B test?

Imagine you have detected some issues in your website. For instance, a low product-to-cart rate, that is, lots of users actually see your product descriptions, but very few add the into the cart. You can then start listing your hypothesis on why is that actually happening. A/B testing allows you to prove or disprove such hypothesis by showing several versions of the same content to different users. In this ways we can dismiss any seasonal effect that could affect your website if the changes are not tested in this way. Concretely:



By applying statistical methods we can determine which version behaves better with respect the established goals (purchase, add-to-cart, time on page, etc.).

The A/B testing cycle goes as follows:



Let's go step by step:

1. Opportunities: what to test? It could be a section of your website that is not properly working or just another section you want to leverage. It could be a single element of the page (a button), the entire page, or an entire process. This information can come from different levels: web tracking tools, heatmaps, surveys, etc., and it's fully linked to the knowledge of the business.

2. Expected turnover: what do you expect to have in return?

3. Priorization: with respect the technical needs and the expected turnover, you must score each possible test.

4. Objectives and segments: who is going to take part of the test? Are all users? Only new users? Only users who spent more than 1 minutes in your website? What should be considered a success? Is it a purchase? Is it viewing more than 3 pages of the website?

5. Implementation: actually inserting the tags in the website and make sure each user sees only one version of the experiment (this is a basic step in order for the math to be correctly applied).

6. Follow-up: was the test successful? Do we have a clear winner? Should we restate the terms of the test?

We will be giving more detailed information and tips for A/B testing in coming posts!

If you want to know more about the services of Ducks|in|a|row with respect A/B testing and Conversion Rate Optimization, click here.

If you want to know more about Visual Website Optimizer, click here.

We hope this partnership will bring Visual website Optimizer and Ducks|in|a|row a great value by having a great tool served by great consultants with very happy customers!

Monday, June 20, 2016

A truth behind the lead business: a comprehensive approach (or the onion approach).


We are obsessed with improving our conversion rates while keeping our traffic levels. But, is this the right approach? I would say yes and no, bust mostly no. Let's see why.

Lead business is a very complex one. And, as we said in our initial post, complexity matters!

Before jumping in to a discussion regarding leads, let me recall a situation we faced time ago when doing consultancy for an e-retailer (a very big one, by the way). They were having a wonderful situation: around 20 million monthly sessions with around 3% session-to-order conversion rate, very high average order value, and pretty good margins. We were able to close a meeting and we offered them the full artillery: UX enhancements, fine tuning of the tracking tool continuous A/B testing, heatmaps, and so on. They told us: no. Surprised by this answer we asked: Why not? We were offering them a very good deal: very low fix fee and a high variable based on success (we did that because the site was horrible: we already identified couple of opportunities that could improve the conversion rate). They replied: we don't have the enough logistics resources to handle the extra amount of orders that would come! Ok. Lesson learned.

Some years later we came with a similar case. The context: traditional insurances company (life, car, and home) starting developing a digital presence. They had a horrible website that was generating around 500 leads per week. As soon as we saw it we wanted to offer the same service we offered years ago: conversion rate optimization, UX enhancement, full deployment of Google Analytics, etc. That is, we used to see the situation as:



However, as a side note, a comment from one of our analysts came to the deck. "Wait!" he said. This might not be the right approach. "Let's recall the e-retailer situation we faced years ago!". Indeed, let's take a picture of the current situation. Concretely, let's take the first step towards a comprehensive picture:

- 500 leads per week generated through the website.
- 2% lead-to-policy conversion rate (which takes place offline, via a phone call). This means 10 policies per week (simple math).
- To make 500 phone calls a week, they needed 2 full-time resources.
- The cost for a full-time resource was equivalent to the revenue generated by 4.5 policies. In other words, the "actual margin" is around one policy.

Now our landscape is broader, much broader!



With some basic enhancements to the website, we could increase leads by, let's say, 50% (site was really ugly). With more simple maths we say that we could have 750 leads per week generated through the website. But now the key point is that the lead-to-policy ratio would not necessarily change! This means that they would just increase the total number of policies up to 15! We always say that we need to ask the right question. At this point the right question to ask is: how many full-time resources do we need to handle 750 phone calls per week? A simple cross-multiplication shows us that we would need 3. This extra resource would cost us another 4.5 policies. In other words, the total cost for the 3 full-time resources would be 13.5 policies, so the actual margin would be equivalent to 1.5 policies! Wow! We did a lot of work to improve the website just to raise our margins by half a policy! This at the end means that, with the current set-up, the business does not look scalable. Or, in other words, more does not necessarily mean better. Even worse, what would happen if a sudden pike (seasonal pike, or a pike due to a sudden reduction of the prices, or by a sudden increase on your competitors prices, or by a sudden increase on traffic due, for instance, by an important investment on marketing) occurs? It's simple: the 3 full-time resources will not be able to handle all phone calls on time. In the insurances universe, if you don't handle a call soon you have high chances to loose it.

How do we solve this? Here we will apply the "onion strategy". Imagine your processes as an onion, and each one of the sub-processes are a layer of the onion. The basic idea behind this approach is that you should start optimizing processes from the end of the journey to its beginning. In this way, as the user flows he will always step towards a process that we already tried to optimize. In the case of the insurance company, the first thing we offered them was to understand whether we can improve the lead-to-policy rate. Here a new world appeared in front of our eyes: we taught them not to follow all leads (we implemented very cool models to prioritize the incoming leads), we taught them to catch the necessary data to understand why a lead converted or not into a policy, etc. At the end we were able to improve the lead-to-policy conversion rate up to 15%!. At that moment we were able to improve the website in order to bring more leads. And after that we were able to optimize the traffic sources, the prices, and to understand the competition, in order to have under control the total amount of sessions reaching the website. We got then a much broader landscape for the situation:



Despite this is a very simple representation of the full process that ranges from the intention to an actual policy, the exercise behind it is very insightful. And this is not only about data but about business. The full exercise of depicting the concrete steps through which the user flows up to becoming a client can only come from a deep knowledge of the business. Then, and only then, data science and tools appear. As we always say, the key point is to formulate the right questions. Then you find the data to answer them.

As a summary always keep in mind:
- More does not necessarily mean better.
- Broad your landscape until you have all the steps that can be improved or optimized.
- Think about the consequences the optimization of a step have to the whole process.
- Follow the onion approach: improve the latest steps of the whole process first and then improve backwards.


Good optimization!