Автор Тема: Прогресс в работе моделей.  (Прочитано 35970 раз)

Spasatel

  • Гость
Re: Прогресс в работе моделей.
« Ответ #40 : 12 Апрель 2022, 14:38:44 »
ГМЦ усиленно занимается импортозамещением.
Во всех технологиях зарубежные модели меняются на отечественные.
Сбылась мечта солнечника - американскую модель больше смотреть не будут.
Это же касается использования спутниковой информации. Начали с обеспечения авиации и за эту работу 2-е сотрудников ГМЦ представлены
к правительственным наградам.
Опять стали заниматься тем, чем я занимался в 80-х годах прошлого века - прогноз по обрезанной карте (сетке).
Тогда по западу границей были страны ОВД, теперь просто границы России. Даже Беларусь исключена :)

Оффлайн Alter

  • Ветеран
  • *****
  • Сообщений: 8454
  • МО, Пушкино
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #41 : 24 Ноябрь 2022, 14:53:53 »
Сегодня исполнилось ровно 30 лет первому ансамблевому продукту европейского центра ECMWF.
Карта с детерминированным прогнозом геопотенциала 500 гПА и распределением СКО(помноженной на квадратичный корень из 2) этой величины в ансамбле от 24 ноября 2022 года на срок 96 ч(4 суток).
Серые линии - фактический анализ.

Как видим, ансамбль уже тогда был полезен. В областях с низким значением СКО(светло-синяя заливка) итоговый факт и прогноз имели не такие высокие расхождения, как в областях с высоким СКО(темно-синяя заливка).

Оффлайн Lolka5039

  • Ветеран
  • *****
  • Сообщений: 9263
  • Украина, Киев
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #42 : 06 Январь 2023, 12:48:35 »
Киев, прогноз модели GFS на ближайшие дни (дальше у модели другая барика, так что то что она там холоднее, внимание не обращать, речь о ближайшем времени)

Как видите, она самая тёплая

И тут интересно, что по сравнению с центром ЕТР, где участники привыкли что GFS как раз сильнее всех занижает, идёт такой диссонанс. В Киеве и Украине вообще, GFS в зимние ясные ночи наоборот самая тёплая модель

Обьяснить кроме как чуда или же того что модель откровенно хреновая, раз у неё разные алгоритмы для территорий, которые находятся рядом
В сильной жаре нет никаких проблем. Чем жарче, тем лучше. Не существует такой температуры на Земле, которая бы сдалась "перебором". В каждой жаркой отметке есть своя изюминка

Оффлайн Mist

  • Ветеран
  • *****
  • Сообщений: 4177
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #43 : 06 Январь 2023, 12:53:05 »
Про Киев не скажу, а для Петербурга ГФС в оттепельные и слабоморозные периоды часто оказывается ближе к истине. Чем Рединг, УКМЕТ, айкон точно, эти как правило занижают.

Оффлайн Lolka5039

  • Ветеран
  • *****
  • Сообщений: 9263
  • Украина, Киев
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #44 : 06 Январь 2023, 12:56:13 »
Ну думаю, тут ближе к истине будет Рединг
ГФС пролетит с "теплом"
Просто говорю о факте что у нас она тупит в другую сторону (теплом) в ААЦ/КАЦ/УПВ и т.п.
В сильной жаре нет никаких проблем. Чем жарче, тем лучше. Не существует такой температуры на Земле, которая бы сдалась "перебором". В каждой жаркой отметке есть своя изюминка

Оффлайн Paxan96

  • Ветеран
  • *****
  • Сообщений: 12476
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #45 : 19 Май 2023, 11:22:36 »
Вопрос к спасателю больше как работнику ГМЦ.

Какими характеристиками должна обладать климатическая , чтобы ее купили?

Оффлайн Kostian

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 17012
  • Планета Земля
    • Просмотр профиля
    • Погода и климат
Re: Прогресс в работе моделей.
« Ответ #46 : 14 Октябрь 2023, 23:48:07 »
США стали заметно отставать в точности прогнозирования погоды не только от Европы, но даже от Германии и Канады.  Модель GFS предсказывает погоду все хуже и хуже, по сравнению с другими глобальными моделями. Кто виноват и что делать?  Об этом объемная статья американского профессора Клиффорда Масса из Вашингтонского университета.

https://vk.com/@meteoforecast-pochemu-operativnoe-chislennoe-prognozirovanie-pogody-v-ssha

Вкратце о проблемах:
1) численным прогнозированием погоды (ЧПП) в США занимается сразу несколько организаций (NOAA, NASA, NCAR, ВМС США, ВВС США), которые конкурируют между собой и отнимают другу у друга вычислительные, финансовые и интеллектуальные ресурсы. В Европе же прогнозированием занимается единый центр, который находится в Рединге, который рационально использует ресурсы.
2) слишком грубая сетка ансамблевых прогнозов и малое количество членов. У ансамбля ECMWF больше членов и более мелкая сетка.
3) проблемы с параметризацией подстилающей поверхности у модели GFS, вследствие чего она завышает снежный покров.
4) крайне незначительные средства выделяются на калибровку моделей: в США остро не хватает времени суперкомпьютеров для научной работы и улучшения моделей, практически все отдано на оперативную работу.  В Рединге с вычислительными ресурсами дела обстоят гораздо лучше: выделяется достаточно времени на науку.
5) американские ученые почти не занимаются исследованием и совершенствованием глобальных моделей, типа CFS/GFS, вместо этого научное сообщество совершенствует региональные модели, типа WRF и т.п.
6) распыление ответственности:  каждая организация работает по принципу "моя хата с краю", никто в США не несет ответственности за качество национальной модели.
7) в отличие от Европы у США вообще нет стратегического долгосрочного планирования в отношении совершенствования моделирования погоды.
8 ) в отличие от Европы у моделей США плохой контроль качества входных данных.
9) в отличие от Европы в модели США не закладываются оперативные данные с китайских метеорологических спутников.

Все это приводит к тому, что, несмотря на то, что США тратят больше всего денег на ЧПП, по сравнению с другими странами, качество прогнозов неуклонно снижается.

Что делать:
1) для ликвидации отставания от Европы нужно моментально нарастить вычислительные мощности суперкомпьютеров в 10 раз, а для удержания мирового лидерства к 2031 году - в 100 раз!
2) создать национальный центр ассимиляции данных, который будет собирать, проверять , усваивать поток данных и раздавать его всем организациям: от гражданских, до военных.
3) создать национальный центр численного прогнозирования погоды США, который будет нести ответственность и располагать ресурсами для создания и поддержания в рабочем состоянии научного потенциала численного прогнозирования погоды для страны.
4) необходима координация научных исследований и оперативной работы в ЧПП.
5) важно улучшить физические характеристики моделей, такие как параметризация пограничного слоя, поверхности земли и радиации, для этого нужно создавать целые специальные группы экспертов по каждому типу параметризации.
6) нужны синхронные усилия Конгресса США и всего метеорологического сообщества страны для реализации поставленных задач.

США много лет были лидером в области численного прогнозирования погоды и должны стать им снова, что принесет огромную пользу американскому народу и всему миру.
Shura - горе-прогнозист, позор Метеофорума!

Оффлайн Kontiger

  • Ветеран
  • *****
  • Сообщений: 2173
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #47 : 15 Октябрь 2023, 08:48:15 »
Вкратце о проблемах:
1) численным прогнозированием погоды (ЧПП) в США занимается сразу несколько организаций (NOAA, NASA, NCAR, ВМС США, ВВС США), которые конкурируют между собой и отнимают другу у друга вычислительные, финансовые и интеллектуальные ресурсы. В Европе же прогнозированием занимается единый центр, который находится в Рединге, который рационально использует ресурсы.
Дальше можно не читать, первый пункт уже ошибочен в своей основе. Без конкуренции никакого развития не бывает


Оффлайн Kostian

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 17012
  • Планета Земля
    • Просмотр профиля
    • Погода и климат
Re: Прогресс в работе моделей.
« Ответ #48 : 15 Октябрь 2023, 09:01:19 »
Kontiger

Не совсем так. Конкуренция важна в экономике, в рыночной сфере.  А это все - государственные бюджетные организации. Они просто пожирают бюджет, во многом дублируют наработки друг друга и используют одни и те же вычислительные ресурсы, чтобы посчитать 5 раз одно и то же.  При таком раскладе не будет никакого развития. Будет только впустую потраченное время и деньги.   Посмотрите на NASA: как там все забюрократизировано и сравните со SpaceX, которая развивается бурными темпами.
Но дело даже не в этом, а в том, что наука потихоньку деградирует не только в России, но и в США.  Точнее сказать, наука сейчас больше существует сама для себя, для получения грантов, научных степеней и премий.  А на прикладную сферу наука просто не работает, модели не развиваются, параметризация не улучшается.
Вот и получается, что CFS как выдавала полную чушь 10 лет назад, так и выдает до сих пор.  Я все удивлялся, ну неужели за это время нельзя было улучшить качество модели? Почему Рединг может, а NCEP нет? Убрать весь этот бред, который выдает их тупая модель.  Ну вот теперь я нашел ответ на свой вопрос: это просто никому не нужно.
« Последнее редактирование: 15 Октябрь 2023, 09:04:26 от Kostian »
Shura - горе-прогнозист, позор Метеофорума!

Оффлайн Kontiger

  • Ветеран
  • *****
  • Сообщений: 2173
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #49 : 15 Октябрь 2023, 10:09:15 »
Kontiger

Не совсем так. Конкуренция важна в экономике, в рыночной сфере.  А это все - государственные бюджетные организации. Они просто пожирают бюджет, во многом дублируют наработки друг друга и используют одни и те же вычислительные ресурсы, чтобы посчитать 5 раз одно и то же.  При таком раскладе не будет никакого развития. Будет только впустую потраченное время и деньги.   Посмотрите на NASA: как там все забюрократизировано и сравните со SpaceX, которая развивается бурными темпами.
Но дело даже не в этом, а в том, что наука потихоньку деградирует не только в России, но и в США.  Точнее сказать, наука сейчас больше существует сама для себя, для получения грантов, научных степеней и премий.  А на прикладную сферу наука просто не работает, модели не развиваются, параметризация не улучшается.
Вот и получается, что CFS как выдавала полную чушь 10 лет назад, так и выдает до сих пор.  Я все удивлялся, ну неужели за это время нельзя было улучшить качество модели? Почему Рединг может, а NCEP нет? Убрать весь этот бред, который выдает их тупая модель.  Ну вот теперь я нашел ответ на свой вопрос: это просто никому не нужно.
Я занимался климатическими моделями 20 лет назад, одна из курсовых была по сравнению моделей МОЦАиО, но это было относительно давно, сейчас мое мнение может быть ошибочным. Но 20 лет назад для любой модели проводили параметризацию и поправки под конкретный регион. И очевидно, что американская модель "заточена" под Северную Америку. А Евразия там по остаточному признаку. Вы же видите ее недостатки как раз для Евразии - это не значит, что она написана хуже Рединга или Оффенбаха.

На счет конкуренции в бюджетных организациях. Даже у Сталина эта конкуренция была. Посмотрите на авиацию в ВМВ. КБ Илюшина, КБ Лавочкина, КБ Яковлева конкурировали друг с другом, но при этом все были бюджетными организациями. И конкуренция у них была огромная, благодаря которой авиация сильно скакнула вперед. А применительно математических моделей. Сравнение моделей между собой провести совсем несложно. Тем более среди них выявить лучшую, если даже я, будучи студентом 3-го курса смог это сделать. Лучшей модели добавить дополнительное финансирование и всё.

Касательно того, что "наука сейчас больше существует сама для себя, для получения грантов, научных степеней и премий.  А на прикладную сферу наука просто не работает, модели не развиваются, параметризация не улучшается."  Я информацией не владею, но ту же параметризацию опытный программист-модельер должен уметь делать. Другой вопрос если ему платят несмотря на результат. Ну тогда да, стимула улучшать модель нет.
« Последнее редактирование: 15 Октябрь 2023, 10:15:56 от Kontiger »

Оффлайн Melkij

  • Ветеран
  • *****
  • Сообщений: 3972
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #50 : 14 Ноябрь 2023, 23:45:30 »
А как я могу добраться до того продукта? Я тоже хочу! https://thenextweb.com/news/deepmind-ai-graphcast-weather-forecasting

Оффлайн Shadow

  • Ветеран
  • *****
  • Сообщений: 6830
  • Санкт-Петербург
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #51 : 15 Ноябрь 2023, 02:10:09 »
Melkij
Через VPN. Наверное они из США и Англии только пускают.

Аннотация.
A new AI model from Google DeepMind is the world’s most accurate 10-day global weather forecasting system, according to the London-based lab.

Named GraphCast, the model promises medium-range weather forecasts of “unprecedented accuracy.” In a study published today, GraphCast was shown to be more precise and faster than the industry gold standard for weather simulation, the High-Resolution Forecast (HRES).

The system also predicted extreme weather further into the future than was previously possible.

These insights were analysed by the European Centre for Medium-Range Weather Forecasts (ECMWF), an intergovernmental organisation that produces the HRES.
« Последнее редактирование: 15 Ноябрь 2023, 09:43:02 от Shadow »

Оффлайн Steinberg

  • Ветеран
  • *****
  • Сообщений: 3313
  • Оренбург
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #52 : 15 Ноябрь 2023, 09:15:40 »
По VPN все открывается. И не только США и Британия. Лишь бы не Россия.
И холод пришел навсегда - его виза бессрочна

Оффлайн Shadow

  • Ветеран
  • *****
  • Сообщений: 6830
  • Санкт-Петербург
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #53 : 15 Ноябрь 2023, 09:42:35 »
Steinberg
Лишь бы не Россия.

Но Melkij же не в России.

Оффлайн Steinberg

  • Ветеран
  • *****
  • Сообщений: 3313
  • Оренбург
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #54 : 15 Ноябрь 2023, 09:47:35 »
Shadow

Что странно. У меня открылось через Литву.
И холод пришел навсегда - его виза бессрочна

Оффлайн Lolka5039

  • Ветеран
  • *****
  • Сообщений: 9263
  • Украина, Киев
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #55 : 15 Ноябрь 2023, 10:44:58 »
По теме: когда модели исправят глюк по снежному покрову? На данный момент в их аглоритмах температура подверхности сильно падает, если там лежит любого качества снежный покров
Глюк заключается в том что даже если это грязный снег с отсуствующим альбедо, то всё равно температура в месте с грязным снегом может быть на 10-12 градусов ниже.
Особенно интересно выглядят карты с СП точно совпадающие с картами выхолаживания

Вообщем надеюсь доживу до исправления такого бреда. Ещё раз повторюсь, в 2020 году был в декабре раз АЦ, а именно Азиатский максимум. В Киеве было -10 без снега, а восточнее -9 уже со снегом. Ну ничего тот ваш снег (почти) не понижает
В сильной жаре нет никаких проблем. Чем жарче, тем лучше. Не существует такой температуры на Земле, которая бы сдалась "перебором". В каждой жаркой отметке есть своя изюминка

Оффлайн Melkij

  • Ветеран
  • *****
  • Сообщений: 3972
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #56 : 15 Ноябрь 2023, 12:05:14 »
Shadow
Steinberg


Я же муха по сообразительности (раз все так считают, не буду же доказывать обратное...) и не совсем понял, как дойти до прогнозирования для себя? Ну, открою я ссылку, что-то там установится на компьютер? А дальше что?

Оффлайн Steinberg

  • Ветеран
  • *****
  • Сообщений: 3313
  • Оренбург
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #57 : 15 Ноябрь 2023, 12:13:13 »
Melkij

Вы с VPN не имели дел? Это штука такая, которая подменяет ip-адрес. И для интернета вы сидите не там, где вы есть, а в другом месте планеты. Сервисов есть много, какие-то проще, какие-то сложнее в использовании. Мы в России уже привыкли в этом разбираться - нам же то местные что-нибудь заблочат, то Запад не пускает. Я в настройке ставлю Вильнюс, или Сан-Франциско, или Сидней - и хожу по любым сайтам, где россиян видеть не хотят.
« Последнее редактирование: 15 Ноябрь 2023, 12:14:49 от Steinberg »
И холод пришел навсегда - его виза бессрочна

Оффлайн Melkij

  • Ветеран
  • *****
  • Сообщений: 3972
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #58 : 15 Ноябрь 2023, 12:16:07 »
Вы с  не имели дел?

При чём тут это? Я про продукт спросил, а не про VPN. Вас ещё не было, когда я VPN-ом пользовался.

Оффлайн Steinberg

  • Ветеран
  • *****
  • Сообщений: 3313
  • Оренбург
    • Просмотр профиля
Re: Прогресс в работе моделей.
« Ответ #59 : 15 Ноябрь 2023, 12:19:39 »
Melkij

Простите, ваш вопрос очень сложно было понять. Вот как понял, так понял. Продукта, кстати, по ссылке нет. Там просто статья про перспективную технологию. И спасибо, что польстили, приятно чувствовать себя молодым.
И холод пришел навсегда - его виза бессрочна