Indeks pada tabel dengan ukuran yang Anda sebutkan biasanya dapat dijatuhkan dengan cukup cepat (dan tentu saja lebih cepat dari 3+ menit). Kedengarannya bagi saya seperti tabel/indeks sedang digunakan, dan karena itu tidak dapat dijatuhkan.
Anda dapat mengonfirmasinya dengan menanyakan pg_stat_activity
tabel dan mencari aktivitas yang melibatkan tabel tempat Anda membuat indeks.