PostgreSQL
 sql >> Teknologi Basis Data >  >> RDS >> PostgreSQL

Partisi SparkSQL PostgresQL Dataframe

Pada dasarnya batas bawah dan atas dan jumlah partisi digunakan untuk menghitung kenaikan atau pembagian untuk setiap tugas paralel.

Katakanlah tabel memiliki kolom partisi "tahun", dan memiliki data dari tahun 2006 hingga 2016.

Jika Anda menentukan jumlah partisi sebagai 10, dengan batas bawah 2006 dan batas lebih tinggi 2016, Anda akan memiliki setiap tugas untuk mengambil data untuk tahunnya sendiri - kasus yang ideal.

Meskipun Anda salah menentukan batas bawah dan/atau batas atas, mis. setel bawah =0 dan atas =2016, akan ada kemiringan dalam transfer data, tetapi, Anda tidak akan "kehilangan" atau gagal mengambil data apa pun, karena:

Tugas pertama akan mengambil data untuk tahun <0.

Tugas kedua akan mengambil data untuk tahun antara 0 dan 2016/10.

Tugas ketiga akan mengambil data untuk tahun antara 2016/10 dan 2*2016/10.

...

Dan tugas terakhir akan memiliki kondisi where dengan year->2016.

T.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Jatuhkan batasan berdasarkan nama di Postgresql

  2. pilih nilai maks dan min setiap x jumlah baris-postgresql

  3. Opsi Multitenancy untuk PostgreSQL

  4. Startup hibernasi sangat lambat

  5. Pengindeksan lanjutan yang melibatkan kondisi OR-ed (pgsql)