El control antidopaje

Cien monedas y cinco falsas estrellas

Imagina cien monedas normales. Lanzas cada una diez veces. Por pura suerte, una moneda saca ocho caras o más con una probabilidad del 5,47 % (56 de cada 1.024 combinaciones posibles). Con cien monedas, lo normal es que cinco o seis parezcan «trucadas» sin serlo.

Con las estrategias pasa lo mismo. La cantera prueba muchas a la vez y el generador crea variantes nuevas cada domingo. Si a todas se les pide lo mismo que se le pediría a una sola, alguna superará la prueba por suerte y subirá al primer equipo sin merecerlo. Es el error más común del trading automático y tiene nombre: sesgo de pruebas múltiples.

Para evitarlo, cada estrategia pasa un control antidopaje con cuatro pruebas. Ninguna promete que una estrategia vaya a ganar; sirven para que, cuando suba una, sea mucho menos probable que haya sido suerte.

Cuánto se fía uno de una ventaja: la t

Que una estrategia gane al S&P 500 de media no basta: hay que saber si esa ventaja es seria o si cabe en lo que la suerte puede dar. Para eso se usa la t de Student, que compara la ventaja media con lo mucho que varía de una operación a otra:

t = ventaja media ÷ (desviación ÷ √ número de operaciones)La desviación mide cuánto se aleja cada operación de la media. Cuantas más operaciones, más pequeño es el divisor y más se fía uno de la media.

Ejemplo inventado: una estrategia gana al S&P 500 un 0,4 % de media por operación, pero cada operación varía un 3 % arriba o abajo.

• Con 50 operaciones: t = 0,4 ÷ (3 ÷ 7,07) = 0,94. Poca cosa: la suerte lo explica sin esfuerzo.
• Con 200 operaciones: t = 0,4 ÷ (3 ÷ 14,14) = 1,89. Empieza a ser interesante.
• Con 400 operaciones: t = 0,4 ÷ (3 ÷ 20) = 2,67. Ya es difícil que sea casualidad.

De la t sale la probabilidad de casualidad (el «valor p»): cuántas veces se vería una ventaja así, o mayor, si la estrategia en realidad no fuera mejor que el índice. Cuanto más alta la t, más pequeña esa probabilidad.

El filtro de falsos descubrimientos (FDR)

Es la respuesta al problema de las monedas. En vez de juzgar a cada estrategia por separado, se juzga a todas las candidatas a la vez y se exige más cuantas más compiten. El método es el de Benjamini y Hochberg (1995), el estándar en ciencia cuando se hacen muchas pruebas a la vez:

1. Se ordenan las candidatas de menor a mayor probabilidad de casualidad.
2. A la primera se le exige muchísimo, a la segunda un poco menos, y así sucesivamente: el límite de la candidata en el puesto k es k ÷ número de candidatas × el máximo de falsos ascensos que se acepta.
3. Se busca la última candidata que queda por debajo de su límite. Suben ella y todas las que tiene delante.

Ejemplo inventado con 10 candidatas, aceptando como mucho 1 falso ascenso de cada 20 (un 5 %):

Con la regla de siempre («menos de un 5 % de probabilidad de casualidad») habrían subido cinco. Con el filtro suben dos: las otras tres pueden ser buenas, pero con diez compitiendo a la vez todavía no lo han demostrado y siguen en la cantera sumando operaciones.

En FSR este filtro se aplica cada noche a todas las estrategias de la cantera que ya tienen suficientes operaciones en vivo, además de las exigencias de siempre.

El último año también cuenta

Las variantes nuevas se prueban con tres años de historia. Una estrategia puede ganar mucho al principio de esos tres años y perder en los últimos doce meses: su media sale bonita, pero el mercado en el que ganó quizá ya no existe.

Por eso, si una variante tiene operaciones suficientes en el año más reciente, también ahí tiene que ganar al S&P 500. Es una versión sencilla de lo que en la industria se llama prueba walk-forward: comprobar que funciona en el tramo más cercano al presente, no solo de media.

La prueba más dura llega después y no tiene trampa posible: ninguna variante sube al primer equipo sin demostrarlo en vivo, con datos que no existían cuando se creó.

Comprar lo mismo, pero en días al azar

Una estrategia puede «ganar» sin saber cuándo comprar: basta con que elija acciones que han subido mucho en esos tres años. Además, las empresas que hoy cotizan son las que sobrevivieron; las que quebraron ya no están en la lista, y eso infla cualquier prueba con el pasado.

La prueba lo separa así: para cada operación de la estrategia se compra la misma acción, el mismo número de días, pero en una fecha al azar del periodo, con el mismo coste. Se calcula cuánto habría ganado ese «mono con dardos» frente al S&P 500 y se repite 200 veces.

probabilidad de casualidad = (repeticiones al azar que igualan o superan a la estrategia + 1) ÷ (repeticiones + 1)El +1 arriba y abajo evita decir «imposible» cuando ninguna repetición la iguala: con 200 repeticiones, lo más bajo que puede salir es 1 ÷ 201.

Ejemplo inventado: una estrategia gana al índice un 1,2 % de media por operación.

Una meseta, no una aguja

Cada variante es una estrategia con algún ajuste cambiado. Si solo funciona con ese número exacto y los valores de al lado pierden, es casi seguro que ha encontrado una coincidencia en los datos, no una ventaja. Una ventaja real se parece a una meseta: funciona con su ajuste y también con los de alrededor.

Ejemplo inventado: una regla compra cuando una acción ha caído «mucho», y se prueba con tres niveles de caída.

En FSR, cada variante que pasa lo demás se prueba también con sus ajustes vecinos, y al menos la mitad de ellos tienen que ganar al S&P 500.

Lo que estas pruebas no pueden hacer

• No eliminan la suerte, la acotan. Una estrategia que lo pasa todo puede fallar igualmente.
• No ven el futuro. Si el mercado cambia de carácter, una ventaja real puede desaparecer. Para eso están el semáforo y las bajadas al banquillo.
• Necesitan tiempo. Con pocas operaciones ninguna estadística dice gran cosa; por eso el panel avisa cuando todavía hay pocas.

Los límites exactos de cada prueba no se publican, igual que las reglas de las estrategias. Lo que sí se ve en el panel es el resultado: quién sube, quién baja y por qué. Lo contamos en Transparencia y resultados.