PostgreSQL
 sql >> Teknologi Basis Data >  >> RDS >> PostgreSQL

Buat tabel sql dari dataframe dask menggunakan map_partitions dan pd.df.to_sql

Sederhananya, Anda telah membuat kerangka data yang merupakan resep dari pekerjaan yang harus dilakukan, tetapi Anda belum menjalankannya. Untuk mengeksekusi, Anda perlu memanggil .compute() pada hasilnya.

Perhatikan bahwa output di sini sebenarnya bukan kerangka data, setiap partisi dievaluasi menjadi None (karena to_sql tidak memiliki keluaran), jadi mungkin lebih bersih untuk mengekspresikannya dengan df.to_delayed , sesuatu seperti

dto_sql = dask.delayed(pd.DataFrame.to_sql)
out = [dto_sql(d, 'table_name', db_url, if_exists='append', index=True)
       for d in ddf.to_delayed()]
dask.compute(*out)

Perhatikan juga, apakah Anda mendapatkan paralelisme yang baik akan bergantung pada driver database dan sistem data itu sendiri.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Mendapatkan hasil dari fungsi Postgresql bernilai tabel dengan JOOQ

  2. Apakah batasan UNIK Postgres menyiratkan indeks?

  3. Load Balancing PostgreSQL di Cloud Menjadi Mudah

  4. bagaimana cara memeriksa tabel yang ditentukan pengguna di postgres?

  5. PostgreSQL melalui subsonik