...
Минимальный проект на Spark
Код
Блок кода | ||
---|---|---|
| ||
object Minimal {
def main(args: Array[String]) {
val spark = SparkSession.builder.appName("Spark Application").getOrCreate()
import spark.implicits._
(1 to 10).toDF.show
spark.stop()
}
}
|
В зависимости проекта должны быть включены библиотеки spark-core и spark-sql
Запуск
Блок кода |
---|
set HADOOP_HOME=<path to bin/winutils.exe>
set SPARK_HOME=<path to spark home>
set MAIN_CLASS=Minimal
%SPARK_HOME%\bin\spark-submit --class %MAIN_CLASS% --master local[2] your_jar.jar |
Загрузка, сохранение данных в разных форматах
...