Новая статья об ограничениях трансформеров в метоокеаническом прогнозировании

Сотрудники лаборатории опубликовали новую статью в Journal of Computational Science о том, когда трансформерные модели хорошо подходят для метоокеанического прогнозирования, а когда более простые сверточные модели остаются лучшим выбором.

Статья “Exploring the limitations of transformer models for metocean forecasting” подготовлена Юлией Борисовой, Михаилом Борисовым, Станиславой Востриковой, Виктором Голиковым, Андреем Кузнецовым, Глебом Соловьевым, Александром А. Степанцом, Михаилом Криницким и Николаем О. Никитиным.

В работе рассмотрены три постановки метоокеанического прогнозирования: долгосрочный прогноз арктического морского льда, коррекция атмосферных смещений и прогноз океанических полей. Авторы сравнивают трансформерные архитектуры со сверточными нейронными сетями и показывают, что ограничения трансформеров зависят от задачи, а не являются универсальными.

Для прогноза арктического морского льда трансформерные модели, включая TimeSformer и SwinLSTM, плохо воспроизводили годовую динамику, в том числе летнее таяние, тогда как легкие CNN-модели показали более высокое качество и улучшили метрики ошибки до 30% относительно существующих state-of-the-art систем. В задаче коррекции атмосферных смещений CNN также оказались сильнее трансформерных альтернатив, снижая ошибки в полях Global Forecast System примерно на 20% относительно трансформеров.

Для океанического прогноза результат оказался другим: трансформеры с контрастивным предобучением показали более высокое качество по всем океаническим переменным, включая снижение ошибки для глубины перемешанного слоя на 40%. Поэтому практический вывод работы таков: для метоокеанического машинного обучения стоит начинать с CNN, если данных мало или важна тонкая пространственная структура, и использовать трансформеры там, где задачу поддерживают представительное обучение и предобучение.

Читать статью