Cara memfilter hasil SQL dalam relasi has-many-through

Saya penasaran. Dan seperti yang kita semua tahu, rasa ingin tahu memiliki reputasi membunuh kucing.

Jadi, mana cara tercepat untuk menguliti kucing?

Lingkungan menguliti kucing untuk tes ini:

• PostgreSQL 9.0 di Debian Squeeze dengan RAM dan pengaturan yang layak.
• 6.000 siswa, 24.000 keanggotaan klub (data disalin dari database serupa dengan data kehidupan nyata.)
• Sedikit pengalihan dari skema penamaan dalam pertanyaan:student.id adalah student.stud_id dan club.id adalah club.club_id di sini.
• Saya menamai kueri dengan nama penulisnya di utas ini.
• Saya menjalankan semua kueri beberapa kali untuk mengisi cache, lalu saya memilih yang terbaik dari 5 dengan EXPLAIN ANALYZE .
• Indeks yang relevan (harus optimal - selama kita tidak mengetahui sebelumnya klub mana yang akan ditanyakan):

ALTER TABLE student ADD CONSTRAINT student_pkey PRIMARY KEY(stud_id );
ALTER TABLE student_club ADD CONSTRAINT sc_pkey PRIMARY KEY(stud_id, club_id);
ALTER TABLE club       ADD CONSTRAINT club_pkey PRIMARY KEY(club_id );
CREATE INDEX sc_club_id_idx ON student_club (club_id);

club_pkey tidak diperlukan oleh sebagian besar kueri di sini.
Kunci utama mengimplementasikan indeks unik secara otomatis Di PostgreSQL.
Indeks terakhir adalah untuk menutupi kekurangan yang diketahui dari indeks multi-kolom di PostgreSQL:

Indeks B-tree multikolom dapat digunakan dengan kondisi kueri yang melibatkan setiap subset kolom indeks, tetapi indeks paling efisien bila ada kendala pada kolom terdepan (paling kiri).

Hasil

Total runtime dari EXPLAIN ANALYZE .

1) Martin 2:44,594 md

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id IN (30, 50)
GROUP  BY 1,2
HAVING COUNT(*) > 1;

2) Erwin 1:33.217 md

SELECT s.stud_id, s.name
FROM   student s
JOIN   (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30, 50)
   GROUP  BY 1
   HAVING COUNT(*) > 1
   ) sc USING (stud_id);

3) Martin 1:31,735 md

SELECT s.stud_id, s.name
FROM   student s
WHERE  student_id IN (
   SELECT student_id
   FROM   student_club
   WHERE  club_id = 30

   INTERSECT
   SELECT stud_id
   FROM   student_club
   WHERE  club_id = 50
   );

4) Derek:2,287 md

SELECT s.stud_id,  s.name
FROM   student s
WHERE  s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 30)
AND    s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 50);

5) Erwin 2:2.181 ms

SELECT s.stud_id,  s.name
FROM   student s
WHERE  EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 30)
AND    EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 50);

6) Sean:2,043 md

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club x ON s.stud_id = x.stud_id
JOIN   student_club y ON s.stud_id = y.stud_id
WHERE  x.club_id = 30
AND    y.club_id = 50;

Tiga terakhir melakukan hampir sama. 4) dan 5) menghasilkan rencana kueri yang sama.

Penambahan Terlambat

SQL mewah, tetapi kinerjanya tidak dapat mengimbangi:

7) ypercube 1:148.649 md

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM   club AS c 
   WHERE  c.club_id IN (30, 50)
   AND    NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

8) ypercube 2:147.497 md

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM  (
      SELECT 30 AS club_id  
      UNION  ALL
      SELECT 50
      ) AS c
   WHERE NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

Seperti yang diharapkan, keduanya melakukan hampir sama. Rencana kueri menghasilkan pemindaian tabel, perencana tidak menemukan cara untuk menggunakan indeks di sini.

9) wildplasser 1:49,849 md

WITH RECURSIVE two AS (
   SELECT 1::int AS level
        , stud_id
   FROM   student_club sc1
   WHERE  sc1.club_id = 30
   UNION
   SELECT two.level + 1 AS level
        , sc2.stud_id
   FROM   student_club sc2
   JOIN   two USING (stud_id)
   WHERE  sc2.club_id = 50
   AND    two.level = 1
   )
SELECT s.stud_id, s.student
FROM   student s
JOIN   two USING (studid)
WHERE  two.level > 1;

SQL mewah, kinerja yang layak untuk sebuah CTE. Paket kueri yang sangat eksotis.

10) wildplasser 2:36,986 md

WITH sc AS (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30,50)
   GROUP  BY stud_id
   HAVING COUNT(*) > 1
   )
SELECT s.*
FROM   student s
JOIN   sc USING (stud_id);

Varian CTE dari kueri 2). Anehnya, ini dapat menghasilkan rencana kueri yang sedikit berbeda dengan data yang sama persis. Saya menemukan pemindaian berurutan pada student , di mana varian subkueri menggunakan indeks.

11) ypercube 3:101.482 md

ypercube tambahan terlambat lainnya. Sungguh menakjubkan, betapa banyak cara yang ada.

SELECT s.stud_id, s.student
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    NOT EXISTS (
   SELECT *
   FROM  (SELECT 14 AS club_id) AS c  -- can't be excluded for missing the 2nd
   WHERE  NOT EXISTS (
      SELECT *
      FROM   student_club AS d
      WHERE  d.stud_id = sc.stud_id
      AND    d.club_id = c.club_id
      )
   );

12) erwin 3:2,377 ms

ypercube's 11) sebenarnya hanyalah pendekatan terbalik yang membingungkan dari varian yang lebih sederhana ini, yang juga masih hilang. Berkinerja hampir secepat kucing teratas.

SELECT s.*
FROM   student s
JOIN   student_club x USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    EXISTS (                        -- ... and membership in 2nd exists
   SELECT *
   FROM   student_club AS y
   WHERE  y.stud_id = s.stud_id
   AND    y.club_id = 14
   );

13) erwin 4:2,375 md

Sulit dipercaya, tapi inilah varian lain yang benar-benar baru. Saya melihat potensi untuk lebih dari dua keanggotaan, tetapi juga termasuk di antara kucing teratas hanya dengan dua.

SELECT s.*
FROM   student AS s
WHERE  EXISTS (
   SELECT *
   FROM   student_club AS x
   JOIN   student_club AS y USING (stud_id)
   WHERE  x.stud_id = s.stud_id
   AND    x.club_id = 14
   AND    y.club_id = 10
   );

Jumlah keanggotaan klub yang dinamis

Dengan kata lain:memvariasikan jumlah filter. Pertanyaan ini menanyakan tepat dua keanggotaan klub. Tetapi banyak kasus penggunaan yang harus disiapkan untuk jumlah yang bervariasi. Lihat:

• Menggunakan yang sama kolom beberapa kali dalam klausa WHERE