Saya tidak yakin mengapa jawaban di atas tidak berhasil untuk saya, tetapi saya pikir saya juga dapat membagikan apa yang sebenarnya berhasil bagi saya ketika menjalankan pyspark dari notebook jupyter (Spark 2.3.1 - Python 3.6.3):
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)
