Sebagian besar implementasi DBAPI sepenuhnya menyangga baris saat diambil - jadi biasanya, sebelum SQLAlchemy ORM bahkan mendapatkan satu hasil, seluruh rangkaian hasil ada di memori.
Tapi kemudian, cara Query berfungsi adalah bahwa itu sepenuhnya memuat hasil yang diberikan yang ditetapkan secara default sebelum mengembalikan objek Anda kepada Anda. Alasan di sini menganggap pertanyaan yang lebih dari pernyataan SELECT sederhana. Misalnya, dalam gabungan ke tabel lain yang dapat mengembalikan identitas objek yang sama beberapa kali dalam satu kumpulan hasil (umum dengan pemuatan bersemangat), kumpulan baris lengkap harus ada di memori sehingga hasil yang benar dapat dikembalikan jika tidak, koleksi dan semacamnya mungkin hanya sebagian terisi.
Jadi Query menawarkan opsi untuk mengubah perilaku ini melalui yield_per()
. Panggilan ini akan menyebabkan Query untuk menghasilkan baris dalam batch, di mana Anda memberikan ukuran batch. Seperti yang dinyatakan oleh dokumen, ini hanya sesuai jika Anda tidak melakukan pemuatan koleksi yang bersemangat, jadi pada dasarnya jika Anda benar-benar tahu apa yang Anda lakukan. Juga, jika baris pra-buffer DBAPI yang mendasarinya, masih akan ada overhead memori sehingga pendekatan ini hanya menskalakan sedikit lebih baik daripada tidak menggunakannya.
Saya hampir tidak pernah menggunakan yield_per(); sebagai gantinya, saya menggunakan versi yang lebih baik dari pendekatan LIMIT yang Anda sarankan di atas menggunakan fungsi jendela. LIMIT dan OFFSET memiliki masalah besar yaitu nilai OFFSET yang sangat besar menyebabkan kueri menjadi lebih lambat dan lebih lambat, karena OFFSET dari N menyebabkannya membuka halaman melalui N baris - ini seperti melakukan kueri yang sama lima puluh kali alih-alih satu, setiap kali membaca a jumlah baris yang lebih banyak dan lebih banyak. Dengan pendekatan fungsi-jendela, saya mengambil terlebih dahulu serangkaian nilai "jendela" yang merujuk pada potongan tabel yang ingin saya pilih. Saya kemudian mengeluarkan pernyataan SELECT individual yang masing-masing menarik dari salah satu jendela itu pada satu waktu.
Pendekatan fungsi jendela di wiki dan saya menggunakannya dengan sangat sukses.
Perhatikan juga:tidak semua basis data mendukung fungsi jendela; Anda memerlukan Postgresql, Oracle, atau SQL Server. IMHO menggunakan setidaknya Postgresql pasti sepadan - jika Anda menggunakan database relasional, Anda sebaiknya menggunakan yang terbaik.
