yandex-cloud-examples / yc-data-proc-to-data-proc

Совместная работа с таблицами в Yandex Data Processing с использованием Metastore.

Home Page:https://cloud.yandex.ru/ru/docs/data-proc/tutorials/dataproc-to-dataproc

Repository from Github https://github.comyandex-cloud-examples/yc-data-proc-to-data-procRepository from Github https://github.comyandex-cloud-examples/yc-data-proc-to-data-proc

Совместная работа с таблицами в Yandex Data Processing с использованием Metastore

Вы можете сохранять данные из кластера Yandex Data Processing в бакет Yandex Object Storage с помощью отдельного кластера Hive Metastore для хранения метаданных таблиц. Это позволит работать с сохраненными данными другому кластеру Yandex Data Processing, имеющему доступ к бакету и подключенному к тому же кластеру Metastore. Подготовка инфраструктуры для Yandex Data Processing и Object Storage через Terraform описана в практическом руководстве, необходимый для настройки конфигурационный файл dataproc-to-dataproc.tf расположен в этом репозитории.

About

Совместная работа с таблицами в Yandex Data Processing с использованием Metastore.

https://cloud.yandex.ru/ru/docs/data-proc/tutorials/dataproc-to-dataproc

License:Apache License 2.0


Languages

Language:HCL 100.0%