Méthodologie : le juge de la Lab, puis l'arène

Comment le juge de la Lab décide-t-il ?

Le juge coupe l'historique dans l'ordre du temps, choisit sur la partie d'entraînement seulement et ouvre ensuite la période scellée. Une règle ne « résiste » que si elle gagne sur cette période, fait mieux que l'achat-conservation sur les mêmes barres, a au moins 10 trades et passe les contrôles de surajustement ci-dessous. Sinon la réponse est mirage, non concluant ou pas assez de trades. Le juge décrit des données passées : ce n'est ni une prévision ni un conseil.

Dernière vérification : 2 novembre 2026, sur le code de la version 0.1.0-254.

Quelle part de l'historique est scellée ?

Les 20 % finaux dans l'interface de la Lab et le juge en ligne. Les 30 % finaux par défaut quand une IA passe par MCP, avec un réglage de 20 % à 50 %.

Quels contrôles décident du verdict ?

Un contrôle attendu qui n'a pas pu être calculé empêche aussi de résister.

Une règle seule est-elle jugée pareil ?

Non. Un script jugé tel quel, sans balayage, comme dans le juge en ligne, n'a pas de sélection à contrôler : PBO et CPCV ne s'appliquent pas. Le verdict repose sur l'activité, la période scellée, le Sharpe déflaté et le SPA.

Qu'est-ce qui change en mode certifié ?

Le mode libre est celui par défaut : une période déjà ouverte, moins de 30 événements indépendants et le cumul des essais sont indiqués sans bloquer le verdict, et le rapport dit son mode. Le mode certifié, seul retenu pour le badge public, applique ces règles : une période déjà ouverte par la même famille de règles ne peut plus donner « résiste », et le seuil d'une règle fixe devient 10 % / [n(n+1)] pour la n-ième règle.

Qu'est-ce qui informe sans décider ?

• Monte Carlo : 10 000 tirages par bootstrap des épisodes d'exposition du compte sur la période scellée.
• StepM de Romano et Wolf : quels réglages de l'univers battent l'achat-conservation sur l'entraînement, une fois tous comptés.
• Contrôle de fuite : des décisions de la période scellée sont rejouées sur des données coupées à la barre de la décision.

Le walk-forward est un mode distinct de la preuve (plis ancrés), à demander explicitement ; il n'est pas ajouté à une preuve ordinaire.

Quels sont les vocabulaires et les limites ?

• L'interface de la Lab et le rapport du Survival Audit affichent KEEP, REJECT et INCONCLUSIVE pour résiste, mirage et non concluant.
• Le sceau empêche une IA de lire les bougies, pas de se souvenir de l'histoire du marché apprise à l'entraînement.
• Un script hors du Pine v5 pris en charge est refusé avec la raison, jamais testé sous une forme approchée.
• Le juge a déjà eu des défauts, publiés : faux positif du SPA corrigé (11 octobre 2026).

Le juge en pratique : ce qu'il a répondu à des règles anciennes, et comment tester un Pine hors échantillon, outils comparés.

Sur quelles références s'appuie-t-il ?

• Bailey, D. H., Borwein, J., López de Prado, M., Zhu, Q. J. (2016). « The Probability of Backtest Overfitting ». The Journal of Computational Finance. doi.org/10.21314/JCF.2016.322
• Bailey, D. H., López de Prado, M. (2014). « The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality ». The Journal of Portfolio Management, 40(5), 94-107. doi.org/10.3905/jpm.2014.40.5.094
• White, H. (2000). « A Reality Check for Data Snooping ». Econometrica, 68(5), 1097-1126. doi.org/10.1111/1468-0262.00152
• Hansen, P. R. (2005). « A Test for Superior Predictive Ability ». Journal of Business & Economic Statistics, 23(4), 365-380. doi.org/10.1198/073500105000000063
• Politis, D. N., Romano, J. P. (1994). « The Stationary Bootstrap ». Journal of the American Statistical Association, 89(428), 1303-1313. doi.org/10.1080/01621459.1994.10476870
• Politis, D. N., White, H. (2004). « Automatic Block-Length Selection for the Dependent Bootstrap ». Econometric Reviews, 23(1), 53-70. doi.org/10.1081/ETC-120028836
• Patton, A., Politis, D. N., White, H. (2009). « Correction to “Automatic Block-Length Selection for the Dependent Bootstrap” ». Econometric Reviews, 28(4), 372-375. doi.org/10.1080/07474930802459016
• Romano, J. P., Wolf, M. (2005). « Stepwise Multiple Testing as Formalized Data Snooping ». Econometrica, 73(4), 1237-1282. doi.org/10.1111/j.1468-0262.2005.00615.x
• López de Prado, M. (2018). « Advances in Financial Machine Learning (ch. 12, CPCV) ». Wiley, ISBN 978-1-119-48208-6. www.wiley-vch.de/en/areas-interest/finance-economics-law/advances-in-financial-machine-learning-978-1-119-48208-6

Deuxième partie : l'arène publique et ses couches ML

La suite de cette page concerne l'arène en simulation, pas le juge de la Lab. Ses chiffres sont des observations datées.

Les 4 monstres actifs + 1 finding archive

Brier 0.25: ce que cela veut dire

Méthodologie de validation des stratégies de l'arène

• Frais inclus: 0.20% round-trip.
• Les validations single-split sont considérées comme faibles tant qu'elles ne survivent pas au MC CV.
• Exemple: Wyckoff Evolved avait un Sharpe OOS 1.85 single-split, puis MC mean Sharpe 0.73 sur PUMP, -0.04 sur INJ, -0.36 sur FLOKI. Il a été rejeté.

Stratégies validées par Monte Carlo

Leaks de données corrigés

Conséquence mesurée : le Brier de Leviathan NN est passé de 0.244 avec leak à 0.2589 sans leak. Nous publions le chiffre sans leak.

Pourquoi certaines stratégies IA ne sont pas du vrai ML

• Leviathan 9-Layer Ensemble Brain était 9 couches heuristiques et du storytelling. Depuis la greffe, c'est un 9-Layer Ensemble: 8 heuristiques + 1 PyTorch MLP.
• l'ancien total Chimera était un nombre exagéré issu d'un gros JSON accumulé live. Nous affichons désormais 50 motifs retenus par le minage du 2026-05-14 : filtre Benjamini-Hochberg (FDR 5 %), 5 plis walk-forward et 1 000 permutations. Les 17 noms affichés par le scanner (SERPENT_COIL, STEEL_WALL…) sont des étiquettes descriptives de l'état du marché, pas des motifs validés.
• ML Arena V3 était isolée des monstres principaux. Les modèles ont été migrés in-place dans backend/: chimera_cnn.py, leviathan_nn.py, hydra_lstm.py.

Ce que nous ne prétendons pas

Editorial Newsjacker

Le Newsjacker connecte chaque jour une source d'actualite finance, crypto ou IA a une finding Strategy Arena precise. C'est un système editorial assiste, pas une machine a publier du contenu marketing: source originale obligatoire, lien interne vers une finding mesuree, caveat obligatoire, et queue de validation owner par defaut.

Distributed Research Network

Strategy Arena évolué vers une couche de citizen science quantitative: backtests personnels locaux, benchmarks hardware publics, puis raids thematiques cooperatifs. Le point important: chaque raid devra partir d'une hypothese pre-enregistree, avec quorum, replication et publication des resultats positifs comme negatifs.

Limites connues

• Brier ~0.25 sur crypto 5m : plafond pratique, pas un edge directionnel standalone.
• Monte Carlo CV ne garantit pas la performance live future.
• Feeds metaux : re-validation MC apres migration Yahoo GC=F/SI=F.
• Couches IA heterogenes (heuristiques + ML) explicitement etiquetees.
• Snapshots /facts/*.json = etat VPS a la generation, pas flux HFT.

Un test scellé sur données futures

Le 29 septembre 2026, nous avons scellé une règle, 25 marchés et le critère de réussite avant que les données existent. Décision le 1er octobre 2027, ou 2028 au plus tard ; le résultat sera publié quel qu'il soit. Voir le test sur données futures

Voir aussi : classement des IA chercheuses · brancher votre IA sur la Lab : essais comptés, période scellée, une seule preuve

Cette page valide les claims de: