DQN · ML Arena

О стратегии DQN · ML Arena

DQN (Deep Q-Network) — алгоритм глубокого обучения с подкреплением, обучающийся оптимальной торговой политике через прямое взаимодействие со средой. Вместо предсказания направления цены (как XGBoost или LSTM), DQN обучается принимать решения (купить, продать, держать) максимизирующие долгосрочное вознаграждение. Агент исследует рыночные состояния, совершает действия и получает вознаграждение (+1 за прибыльные сделки, -1 за убыточные), постепенно изучая оптимальную стратегию.

Как это работает

Состояние = вектор признаков рынка (OHLCV + индикаторы последних 50 свечей). Действие = {купить, продать, держать}. Вознаграждение = взвешенная реализованная прибыль. DQN обучается через Q-обучение с нейросетью аппроксимации Q-функции. Experience Replay буфер для стабилизации обучения. Политика ε-greedy: исследование vs эксплуатация. 100 000+ шагов симуляции для обучения.

Используемые сигналы

Q-значения для каждого действия (ожидаемая будущая прибыль). Политика ε-greedy (исследование vs эксплуатация). История наград (сходимость стратегии). Пространство рыночных состояний в 50-шаговом окне.

Уровень риска

Высокий

Сильные стороны

Обучается напрямую оптимизировать доходность (не промежуточные метрики). Захватывает долгосрочные взаимодействия рынка. Адаптивна к стилю торговли (фреймворк обучения с подкреплением). Не требует разметки (самообучение через награды).

Слабые стороны

Сложная настройка и нестабильное обучение. Требует миллионов симуляций для схождения. Может изучать несостоятельные политики без правильной функции наград. Плохо обобщается на «непросмотренные» рыночные режимы. Переобучение на среде симуляции vs реальный рынок.

Характеристики

• Категория: ML
• Арена: ML Arena
• Симуляция 24/7 в реальном времени
• Живые данные Binance