В кластере Yandex Data Processing вы можете запустить Spark- и PySpark-задания с помощью инструментов:
- Spark Shell (командная оболочка для языков программирования Scala и Python). Расчеты запускаются не с помощью скрипта, а построчно.
- Spark-submit. Скрипт сохраняет результаты расчета в HDFS.
- CLI Yandex Cloud. Команды CLI позволяют сохранить результаты расчета не только в HDFS, но и в бакете Yandex Object Storage.
Подготовка инфраструктуры для Yandex Data Processing через Terraform описана в практическом руководстве, необходимый для настройки конфигурационный файл data-proc-for-spark-jobs.tf расположен в этом репозитории.