Une IA peut-elle trouver une stratégie de trading ? Ce que montrent 350 sessions d'autorecherche sur du bruit

Laisser une IA chercher une stratégie de trading toute la nuit, c'est l'idée de l'« autorecherche » popularisée par Andrej Karpathy : un modèle propose une modification, la teste, garde ce qui progresse et recommence. Sur un problème de code ou d'entraînement de réseau, ça marche. Sur des prix de marché, la question est différente : quand la boucle dit qu'elle progresse, a-t-elle trouvé quelque chose, ou s'est-elle ajustée au hasard ?

Nous avons mesuré la réponse le 11 octobre 2026, sur la boucle d'autorecherche de la Lab (version 246, en cours de vérification). Voici ce qui a été fait, ce qui a été mesuré et ce qui reste ouvert.

Le test : faire chercher la boucle là où il n'y a rien

Le moyen le plus direct de vérifier un chercheur de stratégies, c'est de lui donner des données où aucune stratégie ne peut gagner, puis de compter combien de fois il annonce une trouvaille.

• Les données : des séries synthétiques de 6 000 bougies 4 h, sans aucun avantage exploitable (bruit pur, volatilité 1,5 % par bougie, frais de 10 points de base).
• Quatre scénarios de bruit, selon le point de départ de la recherche (tendance EMA, pic de volume, croisement de moyennes) et avec ou sans balayage GPU.
• La boucle : 100 pas de 4 mutations chacun (périodes, seuils, stops, objectifs, filtres de tendance, SMA ou EMA…), soit environ 300 à 400 essais comptés par session sur CPU, et 3 500 à 4 700 avec le GPU.
• 350 sessions au total, chacune avec sa graine.
• Deux scénarios à signal planté (faible et net) pour mesurer l'autre côté : la boucle sait-elle encore trouver quelque chose quand il y a quelque chose ?

Le protocole a été préenregistré (empreinte sha256 publiée) avant les mesures finales.

Ce que la boucle croit

Sur du bruit pur, la métrique de validation de la boucle s'améliore dans 88 à 98 % des sessions. Autrement dit, presque à chaque fois, la boucle « croit » avoir progressé. Elle a toujours une meilleure version à montrer le matin.

C'est normal : une boucle qui essaie des centaines de variantes et garde la meilleure finit toujours par trouver une variante qui colle aux données qu'elle voit. C'est la machine à mirages qu'il faut encadrer.

Sans comptage des essais : la statistique s'emballe

Le Sharpe déflaté corrige un résultat selon le nombre d'essais qui ont servi à le trouver. Nous avons calculé ce que donnerait la meilleure stratégie de chaque session si on la jugeait comme une règle écrite d'avance, sans compter les essais.

Sans comptage, la phrase « ce Sharpe n'est pas un hasard » serait affichée dans les deux tiers des sessions ou plus, sur des données qui ne contiennent rien.

Avec comptage et période scellée : 0 sur 350

La boucle de la Lab est encadrée par trois règles :

1. Chaque essai est compté. Chaque script évalué est un essai, chaque variante GPU aussi. Un doublon n'est pas un nouvel essai ; un abandon reste compté pour les sessions suivantes sur les mêmes données.
2. La fin des données est scellée avant tout calcul (30 % par défaut, sceau écrit sur disque). La boucle ne voit que l'entraînement ; elle choisit sur une validation interne prise dans l'entraînement. Un test instrumenté le vérifie : 0 bougie scellée vue par le moteur pendant la session, 1 ouverture à la fin.
3. Une seule preuve finale. La meilleure règle, jamais rechoisie, est rejouée une fois sur la période scellée, en walk-forward par blocs, devant le juge complet (PBO, Sharpe déflaté au nombre réel d'essais, test SPA de Hansen face à l'achat-conservation, CPCV, au moins 30 événements indépendants).

Résultat sur les 350 sessions de bruit : 0 verdict « résiste » (intervalle de confiance à 95 % : 0 à 1,1 %).

Une précision utile : même sans comptage, le verdict final tenait déjà presque toujours (0 à 1 %), parce que la période scellée et les autres portes retiennent les mirages. Le comptage protège la phrase statistique ; le sceau protège le verdict. Sans sceau, c'est-à-dire en jugeant sur la validation que la boucle a elle-même optimisée, un juge qui ne compte pas les essais dit « résiste » dans 34 à 40 % des sessions à signal net. Avec comptage : 0.

Le défaut trouvé en route

La première série de mesures n'a pas tenu. Dans la voie GPU, une session sur 50 a obtenu un faux « résiste » sur du bruit. En rejouant cette session, la cause est apparue : une règle d'estimation du « nombre effectif d'essais » ramenait 5 759 essais comptés à 3,4. Les variantes gardées étaient presque toutes des jumelles du même chemin, et la règle prenait cette ressemblance pour une absence de recherche.

La correction a été écrite dans un addendum au préenregistrement (N = tous les essais comptés, jamais réduit), puis remesurée sur des graines jamais utilisées (101 à 200). C'est là que le 0 sur 350 a été obtenu. Les mesures d'avant l'addendum sont publiées telles quelles, faux positif compris.

Le prix : une boucle sûre, pas encore efficace

Un juge strict laisse aussi passer moins de vraies stratégies. Sur le scénario à signal net planté :

• la boucle confirme le signal dans 8 % des sessions (intervalle 4,1 à 15 %) ;
• le juge seul, appliqué directement au script de départ, le confirme dans 50 % des cas.

Deux causes mesurées. D'abord, des centaines ou des milliers d'essais comptés rendent le Sharpe déflaté très exigeant. Ensuite, la boucle choisit sur une validation courte et dérive vers des structures (stops serrés, filtres) qui ne tiennent pas sur la période scellée. À ce stade, la boucle trouve moins souvent un vrai signal que le juge seul ne le confirme. Elle ne produit pas de faux positif mesuré, mais elle n'est pas encore un bon chercheur. Les pistes (validation plus longue ou glissante, arrêt anticipé) restent à préregistrer.

Ce que dit la recherche publiée

Deux résultats récents vont dans le même sens :

• Un article d'août 2026 sur la découverte de stratégies par des grands modèles de langage (arXiv 2608.27734) ne certifie aucune des stratégies trouvées par deux modèles de pointe une fois les essais comptés ; seules des références passives passent. Il montre aussi qu'un « oracle » volontairement fuyant peut passer le Sharpe déflaté et le PBO : les statistiques ne voient pas une fuite d'information, il faut l'exclure par construction.
• Les modèles de langage ont mémorisé une partie de l'historique des marchés : ils restituent des niveaux d'indices et des dates de leur période d'entraînement, et masquer les noms ne suffit pas, car ils les reconstruisent (Lopez-Lira, Tang et Zhu, arXiv 2504.14765). Cette contamination chute presque à zéro après la date de coupure du modèle (Gao, Jiang et Yan, arXiv 2512.23847).

Le second point est une limite de notre propre dispositif : le sceau empêche la boucle de lire les bougies de la période de test, il n'efface pas la mémoire du modèle. Une IA qui « trouve » une règle sur 2017-2024 a peut-être lu ce qui s'est passé. Sur nos séries synthétiques, la question ne se pose pas ; sur des marchés réels, le test qui compte est une période postérieure à la date de coupure du modèle, ou une période future.

Limites de ces mesures

• Données synthétiques : elles mesurent les faux positifs et la puissance du dispositif, pas la rentabilité d'une stratégie réelle.
• La plus longue session mesurée fait 100 pas. Une vraie nuit de 8 heures n'a pas été chronométrée de bout en bout.
• La boucle d'autorecherche arrive avec la version 246 de la Lab, construite et en cours de vérification ; la page de téléchargement sert encore la 243.

Alors, une IA peut-elle trouver une stratégie ?

Ce que ces mesures permettent de dire : une IA qui cherche trouvera toujours quelque chose qui a l'air de marcher. La question n'est pas de savoir si elle trouve, mais si l'on compte ce qu'elle a essayé et si l'on garde une période qu'elle n'a jamais vue. Sans ces deux règles, l'amélioration qu'elle annonce n'apprend rien. Avec, sur du bruit, rien ne passe.

Pour comparer les IA entre elles sur la même règle du jeu, voyez quelle IA utiliser pour trader et le classement des IA. Pour brancher la vôtre (Claude Code, Codex, opencode avec DeepSeek, un modèle local) sur ce juge : le guide MCP de la Lab. La Lab est gratuite et calcule tout sur votre PC.

Sur la façon dont le juge lui-même est vérifié : comment notre juge de backtest s'est pris en défaut et faire auditer son code par une autre IA.

À retenir

• Sur du bruit pur, la boucle croit progresser dans 88 à 98 % des sessions.
• Sans comptage des essais, son Sharpe déflaté dépasse 95 % dans 64 à 86 % des sessions ; avec comptage, 0 à 1 %.
• Essais comptés, période scellée et preuve unique : 0 « résiste » sur 350 sessions de bruit.
• Le prix est publié : sur un signal net planté, la boucle le confirme 8 fois sur 100, contre 50 pour le juge seul.
• Le sceau ne protège pas de la mémoire du modèle : sur données réelles, le test qui compte est postérieur à sa date de coupure.

Recherche sur données passées, pas un conseil d'investissement. Les résultats ci-dessus sont des mesures sur données synthétiques et passées, avec les limites indiquées.