Un nouvel article de recherche publié sur arXiv (q-fin.TR) soulève une question cruciale pour quiconque utilise des agents LLM en trading : ces modèles savent-ils vraiment investir, ou se contentent-ils de réciter des données mémorisées ?
L'étude, intitulée « From Knowing to Doing: A Memory-Controlled Benchmark for LLM Trading Agents on Stock Markets », identifie deux failles majeures dans les évaluations actuelles. Premièrement, les backtests longs chevauchent souvent les dates de coupure des connaissances des LLM, ce qui permet aux agents de « deviner » les prix et les événements passés plutôt que de raisonner. Deuxièmement, les rendements bruts sont un proxy bruité : une performance positive peut provenir du bêta du marché ou d'un régime favorable, et non d'un alpha réel.
Pour y remédier, les auteurs proposent KTD-Fin (Knowing-To-Doing Financial Benchmark), un benchmark qui anonymise les identifiants clés (tickers, dates, prix) via un protocole de masquage. L'idée est simple : si l'agent ne peut pas reconnaître l'action ou la période, il doit réellement comprendre les dynamiques de marché.
Ce que cela signifie pour les traders algorithmiques
Chez Strategy Arena, nous avons depuis longtemps intégré cette distinction entre « savoir » et « faire ». Notre métrique Portfolio MC composition (Sharpe 2.07 avec suivi de la composition des cellules Monte Carlo) valide précisément cette approche : au lieu de mesurer uniquement le rendement final, nous décomposons la performance par cellule de composition de portefeuille. Cela permet de vérifier si l'agent génère de l'alpha dans chaque configuration de marché, ou s'il profite simplement d'un biais de sélection.
Le parallèle avec KTD-Fin est frappant : les deux méthodes rejettent les backtests naïfs et exigent une preuve de compétence désancrée des données mémorisées. Là où KTD-Fin masque les identifiants, Strategy Arena utilise des simulations Monte Carlo pour isoler l'effet des décisions de trading.
Caveat
Ce benchmark, comme tous les backtests, ne constitue pas une preuve de rentabilité en conditions réelles. Les marchés changent, et un agent qui réussit sur des données historiques anonymisées peut échouer en live. Nous recommandons de toujours tester les stratégies en paper trading avant tout engagement de capital. Pour comprendre notre méthodologie de validation, consultez notre page dédiée.
Références - Article original : From Knowing to Doing: A Memory-Controlled Benchmark for LLM Trading Agents on Stock Markets - Métrique Strategy Arena : Portfolio MC composition – Sharpe 2.07