Imagínate que mañana tienes un examen.
Pero, para tu sorpresa, esta noche alguien te enseña todas las respuestas.
Al día siguiente te sientas delante del papel, intentas actuar con normalidad y sacas un rotundo 10.
Ahora, te pregunto…
¿Significa eso que realmente sabías resolver el examen?
Hoy vamos a ver cómo detectar una trampa que puede hacer que una estrategia con IA parezca mejor de lo que realmente sabemos que es.
Bien, algo bastante parecido puede ocurrir cuando ponemos a una inteligencia artificial a probar una estrategia de trading con datos del pasado.
A esta prueba se le llama backtest: es decir, una simulación para ver cómo habría funcionado una estrategia en un periodo anterior.
Por ejemplo, le pedimos que analice lo que habría hecho con una acción entre 2010 y 2020.
Y vale, la prueba parece justa. Le entregamos los datos en orden y observamos sus decisiones.
Pero hay un detalle, como siempre.
El problema es que, si esa IA se entrenó después de 2020, durante su entrenamiento podría haber visto información sobre lo que ocurrió con esa acción.
Y pedirle que actúe como si estuviera en 2010 no garantiza que deje de usar ese conocimiento
De hecho, un estudio publicado este año investigó este problema con 5 modelos y cinco acciones, entre ellas NVIDIA, Microsoft y Apple.
En una de las pruebas con NVIDIA, una cartera simulada que empezaba con 100.000 dólares terminaba con unos 1.089.000 dólares usando el modelo original.
Y al aplicar el método que los investigadores diseñaron para reducir ese conocimiento del futuro, el resultado final bajó a unos 237.000 dólares.
Entonces, ¿qué puedes hacer si alguien te muestra un backtest con IA y unos resultados espectaculares?
Empieza comparando dos fechas: primero el periodo que se puso a prueba y luego la fecha hasta la que se entrenó el modelo.
Por ejemplo, si la prueba analiza lo que habría pasado entre 2010 y 2020, pero el modelo pudo aprender de información posterior a 2020, conviene preguntar cómo controlaron esa posible ventaja.
Ahora, eso no demuestra que el resultado sea falso.
Te dice, sencillamente, qué necesitas investigar antes de confiar en él. Que es la prioridad que quiero que tengas en este email.
Y lo que sí nos deja es una buena costumbre. Así que la próxima vez que veas una estrategia espectacular, pregúntate:
¿Qué modelo se utilizó y hasta qué fecha llegan sus datos de entrenamiento?
¿Qué periodo abarca el backtest?
Si el modelo pudo conocer información posterior a ese periodo, ¿cómo intentaron controlar ese riesgo?
Puede que la estrategia siga siendo interesante después de hacer estas preguntas.
Pero, al menos, sabrás si estás viendo un resultado que merece investigarse más o una cifra espectacular sin suficiente información para confiar en ella.
Y si quieres seguir aprendiendo a utilizar la IA con más criterio en tu operativa diaria, quédate atento a los próximos emails.
Nos leemos,
TheBenchMark
gracias