Сборка образов

Spark cluster

Структура директорий и файлы для сборки и запуска лежат в spark_cluster.zip

...

скачает с docker hub нужные образы, соберет из них образ spark-а (версия 3.1.2) и запустит кластер.

Чтобы запустить spark application на удаленном кластере создаем SparkSession:

...

Информация

В качестве cluster_ip указываем ip адрес хост машины, где поднят кластер. При деплое этого job-а нужно будет убрать эту строку кода
В качестве узла драйвера указывается наша локальная машина. При деплое этого job-а нужно будет убрать эту строку кода.

Для этого нужно скопировать jar-ник с spark job-ом на развернутый кластер.

...

Блок кода
/opt/spark/bin/spark-submit \ --master spark://spark-master:7077 \ --driver-memory 4G --executor-memory 4G \ --class full_qualified_class_name \ /opt/spark-apps/file_name_of_your_jar.jar