Transformer · ML Arena

О стратегии Transformer · ML Arena

ML Transformer применяет архитектуру Transformer — революционную модель, лежащую в основе GPT и BERT — к крипто-торговым временным рядам. Механизм self-attention Трансформера позволяет ему выявлять нелинейные зависимости между любыми двумя временными шагами в последовательности, независимо от их расстояния. Это позволяет обнаруживать сложные паттерны: повторяющиеся циклы через недели, корреляции между активами во времени, рыночные режимы, активируемые редкими событиями.

Как это работает

Архитектура: Positional Encoding + Multi-Head Self-Attention (8 голов) + Feed-Forward сеть. Обучение на многомерных временных рядах крипто-рынка длиной 200 временных шагов. Механизм внимания выявляет, какие прошлые временные шаги наиболее релевантны для текущего предсказания. Предсказание направления цены на 4-24ч с уверенностью. Переобучение еженедельно с трансферным обучением от предыдущей версии.

Используемые сигналы

Веса внимания (какие прошлые периоды релевантны). Многоголовое внимание (несколько паттернов одновременно). Предсказание последовательности (не только следующий шаг). Уверенность модели через калиброванные вероятности.

Уровень риска

Умеренный

Сильные стороны

Захватывает долгосрочные зависимости лучше LSTM. Параллельное обучение (намного быстрее рекуррентных сетей). Интерпретируемые карты внимания (объяснимость). Превосходная производительность на сложных временных паттернах. Архитектура современного ИИ.

Слабые стороны

Требует много данных для обучения. Высокая вычислительная сложность (квадратичное внимание). Трудно настроить для малых наборов данных. Ещё не доказал превосходства над LSTM для коротких крипто-временных рядов. Риск переобучения на «очевидных» паттернах.

Характеристики

• Категория: ML
• Арена: ML Arena
• Симуляция 24/7 в реальном времени
• Живые данные Binance