USB, кабели, питание и передача данных

Облачные сервисы

AWS автоматизировала перенос таблиц Hive в S3 Tables на Apache Iceberg

Публикация:

Редакция USB.RU

Сервис переносит поддерживаемые таблицы из AWS Glue Data Catalog в Amazon S3 Tables без отдельного конвейера миграции и выделенных вычислительных ресурсов. Перед переключением можно синхронизировать изменения, а простой при cutover, по данным AWS, занимает несколько минут.

Схематичный визуал Amazon S3 Tables
Визуал Amazon S3 Tables. Источник: AWS.

4 ноября 2026 года AWS объявила о поддержке управляемой миграции таблиц Apache Hive в Amazon S3 Tables, где они хранятся в формате Apache Iceberg. По описанию компании, перенос не требует создавать отдельные конвейеры или выделять вычислительные ресурсы, а рабочие нагрузки могут продолжать выполняться во время большей части процесса.

Сервис проверяет данные и совместимость, преобразует типы, перекодирует и уплотняет файлы. Перед копированием он формирует отчёт о совместимости и перечисляет исходные объекты. Таблицу можно синхронизировать перед завершением миграции, пока в исходник продолжают записываться данные; на переключении доступ может прерываться на несколько минут. До завершения целевая таблица доступна только для чтения, после переключения — для чтения и записи.

На старте поддерживаются таблицы Hive в Parquet, зарегистрированные в AWS Glue Data Catalog, и только в пределах той же учётной записи и региона AWS. AWS перечисляет регионы: Северная Вирджиния, Огайо и Орегон в США; Мумбаи, Сингапур, Сидней и Токио в Азиатско-Тихоокеанском регионе; Франкфурт, Ирландия и Стокгольм в Европе.

AWS сообщает, что плата взимается за скопированные данные, но не за само преобразование Hive в Iceberg; объекты в S3 Intelligent-Tiering сохраняют текущий уровень доступа. Это описание тарификации компании, а не гарантия низкой итоговой стоимости: она зависит от объёма копирования и настроек хранилища.

Для сравнения с другими управляемыми хранилищами AWS мы ранее описывали горячий и тёплый уровни для временных рядов в OpenSearch Serverless и детализацию стоимости отдельных снимков Amazon RDS. Это другие сервисы и задачи; упоминания нужны для сравнения подходов к хранению и учёту расходов, а не как части миграции S3 Tables.

Для команд, которые уже используют подходящие Hive-таблицы в S3, перенос может убрать часть собственной инфраструктуры и ручной подготовки. До переключения всё равно нужно проверить отчёт совместимости; функция не подходит для незарегистрированных таблиц и не переносит их между аккаунтами или регионами, а целевая таблица остаётся только для чтения до завершения cutover.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение