USB, кабели, питание и передача данных

AI-модели

Google открыла данные за своим погодным ИИ: облака и ливни можно забрать в свой проект

Публикация:

Редакция USB.RU

PARDIG и SatWeave дают разработчикам спутниковые наблюдения и оценки осадков с открытой лицензией. Но 15-минутный шаг данных не означает оповещения о ливне без задержки.

Слои спутниковых и погодных данных вокруг земного шара
Данные за погодными моделями Google открыты для разработчиков. Источник: Google DeepMind.

Google DeepMind открыла данные, на которых работает её погодный ИИ. 13 ноября компания выпустила PARDIG и SatWeave: глобальные оценки осадков и спутниковую мозаику атмосферы. Доступны исторические архивы и текущие потоки. Теперь разработчики могут использовать их в собственных погодных, гидрологических и климатических приложениях.

Это не запуск новой версии WeatherNext. Оба набора уже использовались в WeatherNext 3: SatWeave показывает модели облака и развивающиеся штормы, а PARDIG служит одной из целей обучения прогноза осадков. Смысл открытия в другом: данные больше не остаются только внутри продукта Google.

Облака собраны в одну картину

Спутниковые снимки разных агентств не складываются в общую карту сами собой. У них разные проекции, датчики, форматы файлов и расписания съёмки. SatWeave приводит наблюдения к общей сетке и объединяет их в глобальную мозаику. Разработчику не нужно заново собирать всю цепочку обработки сырых снимков.

В открытом наборе 17 спектральных каналов: от видимого света до водяного пара и теплового инфракрасного излучения. Пространственный шаг составляет около 10 км. Это материал для анализа облаков, влажности и температуры их верхней границы, а не просто красивая фотография Земли.

Архив начинается в 2016 году. В исторической части до конца 2025 года шаг составляет 30 минут, с 2026 года мозаика выходит каждый час с задержкой около часа. Такой поток позволяет WeatherNext 3 начинать новый прогноз ежечасно, а не ждать очередного шестичасового цикла атмосферного анализа.

Дождь каждые четверть часа. Данные приходят позже

PARDIG решает другую задачу: оценивает, сколько осадков выпадает в каждой точке сетки. Наземные радары и дождемеры дают хорошие измерения, но покрывают планету неравномерно. Над океанами и в регионах с редкой сетью станций наблюдений особенно мало.

Модель обучали на измерениях осадков спутниковой обсерватории NASA/JAXA GPM. На вход она получает спутниковые изображения и атмосферные поля Европейского центра среднесрочных прогнозов погоды ECMWF. На выходе строит глобальные оценки интенсивности осадков с шагом 15 минут и пространственным разрешением около 10 км.

Шаг 15 минут не означает, что свежие данные приходят каждую четверть часа. Операционный поток PARDIG публикуется пакетами раз в 6 часов. Фактическое отставание от наблюдаемого времени составляет примерно 2-8 часов, в среднем около 5 часов. Для обучения моделей или разбора прошедшего ливня это одно условие работы, для срочного оповещения о наводнении совсем другое.

У PARDIG два варианта. PARDIG-NRT охватывает период с 2016 года до настоящего времени и продолжает обновляться. PARDIG-LR содержит длинный исторический ряд за 1999-2023 годы. Эти версии используют разные входные данные, поэтому их нельзя без проверки склеить в однородную климатическую летопись: смена приборов и источников способна выглядеть как изменение климата.

Где разработчики увидели выигрыш

Google проверила PARDIG на независимых наземных радарных сетях США, Европы и Японии, а также на данных более 36 000 метеостанций. По результатам разработчиков, набор лучше определяет осадки разной интенсивности, чем использованные для сравнения глобальные продукты, включая NASA IMERG-Final.

Для слабых и умеренных осадков компания сообщает об улучшении показателя обнаружения более чем на 30% относительно IMERG-Final. Это результат конкретной проверки почасовых осадков, а не обещание, что любой прогноз погоды станет на столько же точнее. На опубликованном графике сравнивается обнаружение уже выпавших осадков, а не точность прогноза на следующий день.

Сравнение точности обнаружения осадков PARDIG и IMERG в США, Европе и Японии
Обнаружение осадков разной интенсивности в тестах разработчиков. Выше лучше. Источник: Google DeepMind.

В обучении погодной модели такие данные тоже пригодились. Но различие важно сохранить: PARDIG оценивает осадки по наблюдениям, WeatherNext прогнозирует будущее. Открытие набора не превращает его в готовую систему предупреждения об опасной погоде.

Что можно забрать и на каких условиях

Оба набора опубликованы в Google Cloud Storage под лицензией CC BY 4.0. Она разрешает повторное использование, в том числе коммерческое, при соблюдении условий атрибуции. Отдельная заявка на доступ не требуется, достаточно аккаунта Google Cloud. Архивы и текущие данные хранятся в формате Zarr, с которым можно работать из Python через Xarray.

Исторические каталоги PARDIG доступны также в Google Earth Engine. Но там на старте размещён статический архив: за текущими обновлениями нужно обращаться к Cloud Storage. Открытая лицензия на данные не означает, что облачные вычисления для собственного приложения тоже становятся бесплатными.

У DeepMind это ещё одна научная линия рядом с AlphaGenome 2 для изучения влияния ДНК на клетки. Такие системы решают предметную задачу и требуют специальных данных.

Их не стоит смешивать с универсальными помощниками вроде Gemini 4 Hydrogen: чат-бот может помочь написать код обработки, но качество погодного приложения зависит и от самих наблюдений, их покрытия и задержки.

Практический выигрыш здесь в доступе к исходному материалу. Команда, которая изучает ливни, солнечную генерацию или риски засухи, может начать с готовой глобальной сетки и архива, а не с согласования спутниковых форматов. При этом разрешение, пропуски старых наблюдений и задержку обновлений придётся учитывать самой: открыть данные проще, чем сделать из них надёжный местный прогноз.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение