Сравнение модельных прогнозов с фактическими данными

[Coltan]

Предлагаю периодически сравнивать прогнозы ансамбля с фактом.

Барика и геопотенциал за 25 ноября 6 UTC

Прогноз от 12UTC 16 ноября



И факт



Тут главный косяк в том , что ансамбль не углядел достаточно глубокий циклон в районе Красноярского края.

[Coltan]

Прогноз барики и геопотенциала на 0UTC 6 декабря. Сравнение

Прогноз от 27 ноября 12UTC



Прогноз от 1 декабря 0UTC



Факт



Прогноз с заблаговременностью 5 суток оказался намного точнее прогноза с заблаговременностью 8.5 суток. Из недочетов - не угадана северная часть ложбины над Украиной и Беларусью.

[Coltan]

Прогноз барики и геопотенциала на 18UTC 9 декабря. Сравнение

Прогноз от 6UTC 3 декабря



Факт



Есть некоторые недочеты по востоку ЕТР , циклон над Скандинавией не совсем там находится... Но в целом приемлемо.

[Coltan]

Прогноз барики и геопотенциала на 12UTC 12 декабря. Сравнение (дальний хвост)

Прогноз от 6UTC 3 декабря



Факт



Для столь дальних сроков угадано на удивление хорошо. Недооценена глубина ложбины над восточной Европой (которая даже оформилась в ВЦ) , и как следствие сильно недооценена глубина ЮЦ в Причерноморье.

[Coltan]

Прогноз барики и геопотенциала на 6UTC 1 декабря. Сравнение

Прогноз от 24 ноября



Факт



По прогнозу от 24 числа гребень был менее выражен. Ансамбль от 26 числа спрогнозировал гребень точнее , но это был прогноза для 1 декабря 12UTC  , поэтому не совсем корректно приводить его для 6UTC.

[Coltan]

Прогноз барики и геопотенциала на 18UTC 12 декабря. Сравнение

Прогноз от 12 UTC 6 декабря



Факт



Здесь уже гораздо точнее спрогнозирована глубина ЮЦ и его положение , но погрешность в несколько сотен километров - все же не сказать , что очень близко к идеалу.

[Coltan]

Ансамбль Рединга от 19 декабря



12-Часовой Рединг , нулевая заблаговременность



По северу Евразии барическая конфигурация подсчитана более-менее точно , за исключением пожалуй гребня в районе Красноярского края. Самые большие пролеты по Канаде с северной Атлантике , где расположение циклонов не угадано совершенно.

[Coltan]

Ансамбль ГЕФС от 21 числа на 29 декабря 18UTC



Факт



Депрессию над Черным морем ГЕФС не разглядел. Из мелочей - гребень в Красноярском крае по факту сильнее , а над Скандинавией - слабее.

[MrX]

Слежу за CFS. И если суточные ансамбли мотает туда-сюда, то по 10-дневным ситуация стабильная.
И это помогает не обращать внимания на периодические сказки хвостов отдельных прогонов GFS.
Начало зимы в Питере переносится на конец января 2020).

[Alter]

Самые большие пролеты по Канаде с северной Атлантике , где расположение циклонов не угадано совершенно.

Не раз замечал за этим ансамблем сильные пролеты именно по Северной Америке, тогда как в Евразии все всегда как минимум прилично.

[qwerty]

Слежу за CFS. И если суточные ансамбли мотает туда-сюда, то по 10-дневным ситуация стабильная.
И это помогает не обращать внимания на периодические сказки хвостов отдельных прогонов GFS.
Начало зимы в Питере переносится на конец января 2020).

Ждёте повторение декабря 2006 и января 2007?

[Alter]

В этот раз, однако, именно по СА-сектору прогноз вышел весьма хорош, а вот по Европе из-за сильной болтанки хвоста прогноз изначально был размытый, но реальность, в целом, за пределы отклонений ансамбля не вышла



Опять же из-за болтанки реализовавшийся в итоге сценарий с низким арктическим АЦ скрылся за другими членами.
По распределению аномалий:


Основные ошибки в восточной Сибири и на востоке Северной Америки. Распространение Азорского гребня на восток также оказалось заметно выше среднего по ансамблю.

[Spasatel]

Выход волнового циклона в центр ЕТР и прогноз  осадков оказались очень трудной задачей для ГДМ.
На протяжении 10-ти последних дней сценарии, с ним связанные ,мелькали как в калейдоскопе.
То ГДМ вообще отказывались от сценария с волновым циклоном (на его месте был АЦ), то возвращались к прежнему сценарию,  но не могли определиться с траекторие циклона и кол-вом осадков (иногда и фазой).
Последний виток произошел позавчера. В прогонах за 12 GFS, Рэдинг и UKMET сошлись на том, что зона осадков не затронет Москву.
Это уже прогноз на +42+48.
Единодушие моделей насчет отсутствия осадков в Москве сохранилось и в утренних прогонах. В 12 utc UKMET спрогнозировал умеренные осадки в Москве, след за ним Рэдинг - 3.5 мм. GFS же в прогонах за 12 и даже 18! по-прежнему выдавала 0.1 мм.
Наконец, в сегодняшнем прогоне за 0 появилась цифра - 1.3 мм.
В итоге на ВВЦ выпало 5 мм

[Kostian]

Решил проанализировать оправдываемость прогнозов на сайте "Погода и климат" за последний месяц. Напомню, что табличный прогноз предоставляется на 3 дня, на 7 дней и на 14 дней.  http://www.pogodaiklimat.ru/forecast.php   Прогноз с заблаговременностью 6-288 часов - это микс Рединга и других европейских моделей, на 234-336 - это GFS. Сравнение с фактом производилось по всем 500 метеостанциям, входящим в климатический монитор.  Выяснилось, что наибольшая оправдываемость приходится на заблаговременность 6-12 часов и составляет 81%. Вплоть до заблаговременности 5 дней оправдываемость держится на уровне выше 70%, после чего быстро падает к 10-му дню до 40%. Хвост прогноза (10-14 сутки по GFS) имеет очень низкую оправдываемость - всего 38%. Так же интересно отметить, что оправдываемость прогноза сильно зависит от региона. По востоку Беларуси и Смоленской области прогноз в течение последнего месяца имел очень высокую оправдываемость - 98% вплоть до 7-го дня прогноза, а на первые 5 суток оправдываемость и вовсе была практически 100%-ной.  С другой стороны, для арктических островов и Чукотки модельные прогнозы имеют очень плохую оправдываемость: даже на первые сутки она не выше 50-60%, а хвост прогноза GFS и вовсе попадает в цель лишь в 12% случаев.

[Kostian]

Еще что меня удивило, это очень плохая оправдываемость прогнозов по Санкт-Петербургу на первые двое суток: модели промахиваются в каждом третьем случае! А вот на 3-5 сутки оправдываемость резко возрастает и составляет уже 90-95%. Так что жителям Петербурга можно порекомендовать не смотреть прогнозы на ближайшие два дня, а сверяться с моделями за трое суток до срока, тогда достоверность полученного прогноза будет гораздо выше. Почему так - пока выяснить не удалось.
Причем такие парадоксальные пролеты прогнозов отмечаются только непосредственно по метеостанции 26063, по Ленинградской области оправдываемость прогнозов первые двое суток: 95-100%.  Интересно, что там в городе такого химичат, что температура ведет себя так неадекватно?  Неужели на метеостанции ИЦП подделывают результаты измерений?

[Paxan96]

Еще что меня удивило, это очень плохая оправдываемость прогнозов по Санкт-Петербургу на первые двое суток: модели промахиваются в каждом третьем случае! А вот на 3-5 сутки оправдываемость резко возрастает и составляет уже 90-95%. Так что жителям Петербурга можно порекомендовать не смотреть прогнозы на ближайшие два дня, а сверяться с прогнозом за трое суток до срока, тогда достоверность полученного прогноза будет гораздо выше. Почему так - пока выяснить не удалось.

А Вы не рассматривали оправдаемость всяких японских и австралийских моделей которые один участник любит?

[Kostian]

А Вы не рассматривали оправдаемость всяких японских и австралийских моделей которые один участник любит?

Нет меня пока интересует оправдываемость прогнозов на своем сайте и способы ее повышения для Арктики, Чукотки, Казахстана и другим регионам, где сырые модельные прогнозы выдают полную ерунду.

[TimTimTim]

Kostian

А как ведут себя в этом плане ансамблевые прогнозы?

[Kostian]

Kostian

А как ведут себя в этом плане ансамблевые прогнозы?

Я раздумываю над тем, чтобы усреднять несколько прогонов и делать временной ансамбль. Но тут палка о двух концах. Может быть такая ситуация: самый первый прогноз оказался крайне плохим и  содержит пролет на 25 градусов. На следующий день этот прогон исправился и все последующие имеют точность 2 градуса. Если мы сделаем временной ансамбль и будем учитывать самый первый прогон несколько дней подряд, то получится, что мы испортим оправдываемость не одного, а сразу нескольких прогнозов.  Так что, пожалуй, более реально пока что исправлять систематические ошибки моделей (занижение/завышение в повторяющихся день за днем условиях) с помощью поправок. А в таких случаях, когда модель рисует антициклон вместо циклона, пролетая на 15 гПа по давлению и на 25 градусов по температуре,  ничего не сделаешь... В Арктике на 10 дней вперед такие пролеты могут быть запросто.

[Kostian]

Попробовал поработать с поправками: проанализировал фактическую погоду за последние две недели и сравнил ее с прогнозами. Вычислил ошибки модельных прогнозов для каждого из 500 пунктов  и на основании этих ошибок попробовал рассчитать поправки для различной погоды (поправки, очевидно, будут отличаться для солнечной, пасмурной погоды или снегопада).  Результаты получились вполне удовлетворительные: по целому ряду точек оправдываемость модельного прогноза на 10 суток сильно возросла.

К примеру, для такого прибрежного города как Ялта, модели дают очень плохие прогнозы: оправдываемость прогноза на 10 дней по Ялте составляет всего 32%. Применение поправок позволяет радикально улучшить качество прогнозирования: оправдываемость возрастает практически вдвое - до 60%.   Самый большой выигрыш от использования поправок получается в Бурятии: как и в Ялте, там просто ужасное качество модельного прогноза, однако использование поправок позволяет улучшить оправдываемость на 30-35%.

А вот по арктическим островам пока ничего не получилось: слишком уж там непредсказуемая погода. Что с поправками, что без поправок - полная ерунда. Хорошо, что там практически некому смотреть прогнозы. 

Еще поанализирую полученные результаты, допилю скрипты и запущу в боевом режиме использование поправок в прогнозах сайта "Погода и климат" в ближайшие дни.