Прогресс в работе моделей.

[slr]

Интересно, ведь та же ГФС, и другие модели, они же совершенствуются со временем? В теории это должно быть так. Кто-то заметил существенное увеличение оправдываемости? Я например пользуюсь ГФС и иногда для сверки УКМО и Редингом помоему с 2005 года.. помему, если раньше хорошая оправдываемость "сложных" явлений- осадков, конвекции, улучшилась, примерно с 2-3х дней до 4х, хвосты стали поточнее! Я еще помню сколько суровых лажаний было до 2009 года, могло быть так что с дальних хвостов стоял определенный сценарий, и он стабильно сохранялся, и вот когда время подошло уже за 3 дня, он резк менялся на противоположный, который и сбывался. Поля с низким/высоким ЛИ/САРЕ сталь более точными. Соотв. и специальные ресурсы для прогнозирования гроз на базе ГФС стали работать лучше.

А какие перспективы дальше, как будет расти точность прогнозов, и будет ли вообще?

[Stasasan]

Смотрю, этим летом GFS при Затоке СУВМ в московском регионе уверенно прогнозирует нулевую облачность днём. Сейчас только десять утра, а облаков, как и следовало ожидать, уже баллов на 6. Раньше такого за ней не наблюдал, вот уж действительно прогресс.

[Alter]

Прогресс обходит канадскую модель стороной. Как чудила, так и продолжает чудить.

Дело даже не в куполе, а в том, что в окрестностях Москвы сейчас -3... -5 всего на 18 UTC.
Да, и даже в самых холодных Черустях всего лишь -7.

[Kostian]

Прогресс обходит канадскую модель стороной. Как чудила, так и продолжает чудить.

Дело даже не в куполе, а в том, что в окрестностях Москвы сейчас -3... -5 всего на 18 UTC.
Да, и даже в самых холодных Черустях всего лишь -7.

Тем не менее, именно канадская модель ближе всего попадает при прогнозе ночных минимумов в центре холодного антициклона. GFS чудовищно завышает температуру в такой ситуации: запросто может быть прогноз -5...-7, а по факту -13.

[Alter]

Не хочется создавать ветку, зная, что никто не будет ничего анализировать - гиблое дело.

Напишу тут.
Ударим сарказмом по почитателям модельных прогнозов.

В очередной раз подтверждается тот факт, что приземка у GFS провально прогнозируется именно в условиях АЦ, в то время, как при пониженном давлении средняя ошибка мало отклоняется от 0, да и даже по модулю вроде не так высока.
13 июля 15 мск

Син. ситуация


А вот как было ровно месяц назад



И барика


Особо сильно занижение по краям АЦ, что характерно в случае неправильного прогноза фронтальной облачности, но и на оси гребня виден систематический недуг модели - неспособность правильно рассчитать тепловой баланс подстилающей поверхности днем при поступлении активной солнечной радиации, что также является следствием наличия фантомной облачности преимущественно среднего яруса, которая по модельным данным должна была срезать прогрев.

Ночью с этим не так туго. 14 июня 3 ч. мск

Тут плюс-минус, лотерея, опять же, по распределению облачности, но хотя бы не систематический пролет, как днем.

[Vasilii]

средняя ошибка мало отклоняется от 0, да и даже по модулю вроде не так высока.

Там градиент на графике просто немного вводит в заблуждение.
По ВДНХ, к примеру, разница (прогноз-факт) в в 6 вечера была +6 градусов - а там всё совсем светлым светло, ну ладно - спишем это на доджь и обвал Т в срок.



А вот в Наро-Фоминске, к примеру, всё вроде сходится: разница +4, но и тут картинка путает немного - так как нет плавного перехода красок. На графике всего два оттенка и можно подумать, что 2 градуса - но это не так, судя по краскам на шкале справа.

[Alter]

Vasilii, с ВДНХ сложнее, так как в районе Москвы понапихано станций в обмен значительно плотнее анализируемой градусной сетки, так что там что-то среднее, скорее.

[Vasilii]

Alter, да там вообще всё гуд оказывается было - срок за 18.00 я посмотрел на рп5 - а там +13.5 почему-то значение??? (ошибка походу, а я думал дождь), а у Костяна +19.9...

[Kostian]

Я давно хотел выяснить, есть ли разница в оправдываемости различных прогонов GFS: за 00, 06, 12, 18 часов.  Существует такая гипотеза, что прогоны за 06 и 18 часов менее точные, т.к. туда не закладывается аэрология. Не секрет, что метеорологические зонды в мире запускают преимущественно в сроки 00 и 12 UTC, соответственно, логика подсказывает, что прогоны GFS в эти сроки должны быть точнее.  Сейчас ситуация с аэрологией стала еще хуже: 80% авиарейсов в мире отменены из-за коронавируса, это значит, что аэрологической информации поступает совсем мало.  Самое время проверить гипотезу.

Я взял прогнозы за 20 дней: с 17 апреля по 7 мая, сохранил каждый из прогонов GFS в базу по 500 станциям климатического монитора и посчитал  оправдываемость прогнозов. Всего получилось порядка 5 миллионов значений.  Результаты получились довольно неожиданными: все 4 прогона имеют практически одинаковую оправдываемость с точностью до десятых долей процента. Лишь самый хвост 18-часового прогона (12-14 дни) оправдывается чуть хуже.

00 - 57.6%
06 - 57.5%
12 - 57.5%
18 - 56.4%



Таким образом получается, что неполнота аэрологических данных в сроки 06 и 18 UTC практически никак не влияет на точность прогнозов.

[Alter]

Kostian но данные моделей уже давно не определяются зондированием, так что этот результат был очевиден.

[Kostian]

Продолжаем исследования оправдываемости прогнозов погоды по территории СНГ. На этот раз я решил сравнить ECMWF и GFS. Интуитивно я давно понимал, что прогнозы европейской модели оправдываются лучше, чем американской, но вот насколько и по всей ли территории СНГ? Теперь у меня есть ответ на этот вопрос.
Как и в предыдущем исследовании, я взял прогнозы за 20 дней: с 17 апреля по 7 мая, сохранил прогоны ECMWF и GFS в базу по 500 станциям климатического монитора и посчитал оправдываемость прогнозов. Получились очень интересные графики:



Как видим, на территории СНГ GFS значительно уступает по точности прогнозов Редингу. Разница в оправдываемости в первые трое суток достигает 15-18%! Даже если смотреть прогнозы на неделю вперед, то все равно видим уверенное лидерство Рединга.

Если рассматривать отдельные регионы, то увидим колоссальную разницу в оправдываемости для таких регионов, как Эвенкия, Якутия, Казахстан, Средняя Азия. Прогнозы GFS в этих регионах оправдываются очень плохо: есть примеры, когда оправдываемость на первые 5 суток составляет 20-30%, в то время, как прогнозы Рединга оправдываются на 80-90%.
В то же время, GFS существенно лучше прогнозирует погоду в прибрежных районах и особенно - в Арктике. По арктическим островам и арктическому побережью Якутии и Чукотки Рединг практически бесполезен: оправдываемость очень низкая. Там может помочь только GFS. Нет преимущества у Рединга по Мурманской области, побережью Белого и Баренцева морей, Сахалину, Курилам. И плохо оправдываются прогнозы Рединга по Санкт-Петербургу, GFS - заметно лучше.
Есть места с локальными климатическими особенностями, которые не учитываются глобальными моделями, по которым они не могут дать точный прогноз. Это, как правило, горные или защищенные горами районы. Например, Ялта или Сулак-высокогорная. Прогнозы там систематически пролетают. Значительно улучшить оправдываемость по таким районам можно с помощью поправок. Также замечен недоучет солнечного прогрева днем, особенно при переменной облачности или недоучет ночного выхолаживания ночью по ряду метеостанций. Это тоже лечится поправками.

Выводы:
1. Рединг - континентальная модель, которая существенно лучше прогнозирует погоду по территории СНГ на территориях, удаленных от морей и океанов более чем на 100 км. И ее нужно использовать как основную модель.
2. GFS - морская модель, которая хорошо прогнозирует погоду в прибрежных районах. Поэтому прогнозы на сайте "Погода и климат" по арктическим островам, побережью северных морей, Санкт-Петербургу, Курилам, Сахалину и некоторым другим станциям на днях будут переведены на чистый GFS.
3. Нужна таблица поправок для уточнения прогнозов по горным районам, Ялте и некоторым другим точкам. Таким таблицы составлены, они будут динамически обновляться и использоваться на сайте при составлении прогнозов.
4. Переход на GFS для прибрежных районов и введение поправок позволит улучшить оправдываемость прогнозов на неделю на 2-4%.

[Kostian]

Да, если кто-то не догадался, то речь идет об оправдываемости срочной температуры воздуха. Прогноз считался оправдавшимся, если расхождение факт - прогноз в срок не превысило  +/-3 градуса.

[Dormih]

Kostian! 
Интересные данные! Но я могу сказать, что прогноз гфс по Костроме меня вполне устраивает, несмотря на то, что от моря наш город достаточно далеко.

[Paxan96]

Kostian! 
Интересные данные! Но я могу сказать, что прогноз гфс по Костроме меня вполне устраивает, несмотря на то, что от моря наш город достаточно далеко.

Ну так и гфс может правильную температуру указать

[Paxan96]

Завтра будет обновление модели ecmwf
https://confluence.ecmwf.int/plugins/servlet/mobile?contentId=235629304#content/view/235629304

[Alter]

Ну что ж. Ходили тут споры о том, какие модели лучше всего работают для ЕТР. Естественно, такой статистики специально никто не ведет. Но все же для Европы такое сравнение есть. И только на 3 и 5 дней. Сосредоточимся на пределе достоверного прогноза - 5 дней.
Что же мы видим. А видим то, что и следовало ожидать. У GFS непонятные конвульсии смутного характера(иногда они совпадают с меньшими по силе падениями точности у рединга, а иногда и сами по себе), Рединг на этом фоне выглядит стабильнее и явно надежнее. Единственный тут достойный конкурент Рединг - канадская модель. Возможно, неплохо показал бы себя ICON, но, увы, он тут в статистику не входит.
Опираясь на эти данные, если и рассматривать мультимодельные ансамбли, то наибольший вес нужно отдавать данным CMC и ECMWF, наименьший GFS и UKMET. Это будет оптимальным решением при рассмотрении мультимодельных коллизий на срок 5 дней.

P.S. От прогнозов я отстраняюсь. Надоели тупые споры с некоторыми упертыми товарищами.
Просто посмотрим по факту, что там будет после 15. Например про "короткое похолодание, а после тепло".
Крайне любопытно. Буду наблюдать

[Spasatel]

Alter
если и рассматривать мультимодельные ансамбли, то наибольший вес нужно отдавать данным CMC и ECMWF, наименьший GFS и UKMET.
примерно такой подход используется в комплексном прогнозе ГМЦ, но там эти веса вычисляются на основе оправдываемости ГДМ в текущей синоптической ситуации (что-то типа самообучающейся системы).
Просто посмотрим по факту, что там будет после 15. Например про "короткое похолодание, а после тепло".
Например, короткое похолодание, а потом короткое потепление
А прогноз на ноябрь вы уже дали. Москва +2.5. Оправдается только, если "а после тепло ".

[Alter]

А прогноз на ноябрь вы уже дали. Москва +2.5. Оправдается только, если "а после тепло ".

За этот прогноз я не переживаю. Провалится, и шут с ним.
Он такой же отфонарный, как и всех других участников тут. Плюс-минус это интерпретация прогноза от CFS, но первого попавшегося, без должного анализа. Просто я не натягиваю, как некоторые, давным-давно уже признанный неэффективным в ДПП(в среднесрочных, однако, он может быть полезен) метод аналогов, как сову на глобус. Но и это пройдет(с)

[Alexeyich]

данным CMC

А можно ссылочку на их прогнозы?

[Kostian]

А прогноз на ноябрь вы уже дали. Москва +2.5. Оправдается только, если "а после тепло ".

За этот прогноз я не переживаю. Провалится, и шут с ним.
Он такой же отфонарный, как и всех других участников тут. Плюс-минус это интерпретация прогноза от CFS, но первого попавшегося, без должного анализа. Просто я не натягиваю, как некоторые, давным-давно уже признанный неэффективным в ДПП(в среднесрочных, однако, он может быть полезен) метод аналогов, как сову на глобус. Но и это пройдет(с)

Как же так?  Вы ведь убедительно доказывали мне, что статистика - ерунда, CFS - наше все, поэтому надо давать +2 и выше, это точняк. Неважно, что +2 уже было два года подряд в ноябре. По теории вероятностей вы утверждали, что ничего не мешает случиться +2 трижды кряду. Разве не так? А теперь пишете, что отрекаетесь от своего прогноза и вообще CFS - сплошная отфонарщина. Как-то непоследовательно...