Spark tidak menjalankan tugas

Jika seseorang menemukan ini seperti saya dan sedang mengerjakan sebuah cluster tetapi dengan kebutuhan untuk menjalankan beberapa skrip lokal pada node target .

SOLUSI

Solusi mudah yang paling mudah adalah menyetel PYSPARK_PYTHON env di awal skrip, karena dalam kasus saya pyspark-Shell tidak dapat mengambilnya meskipun dikonfigurasi dengan benar di $SPARK_HOME/conf/spark-env.sh atau bahkan di spark-defaults.conf dan ~/.bashrc (keduanya kurang diinginkan daripada opsi pertama).

import os
os.environ['PYSPARK_PYTHON'] = '/path/to/python3' # Worker executable
os.environ['PYSPARK_DRIVER_PYTHON'] = '/path/to/python3' # Driver executable

KEMUNGKINAN PENYEBAB

Saya tidak sepenuhnya yakin, tetapi tebakan saya pyspark diinstal dari pip di venv Anda berbeda dari yang sebenarnya dimuat oleh Spark itu sendiri dan tidak menemukan variabel env yang benar, beralih ke python 2.7 default yang dapat dieksekusi meskipun mengonfigurasinya di mana-mana.