pekerja python-rq menutup secara otomatis

Oke saya menemukan masalahnya. Itu karena batas waktu pekerja.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Jadi menurut kode saya, domain berikutnya di-dequeued jika 200 url diambil dari setiap domain. Tetapi untuk beberapa domain, jumlah url tidak mencukupi untuk kondisi dihentikan (seperti hanya 1 atau 2 url).

Karena kode menangkap semua pengecualian dan menambahkan ke error.txt mengajukan. Bahkan pengecualian batas waktu rq rq.timeouts.JobTimeoutException ditangkap dan ditambahkan ke file. Sehingga membuat pekerja menunggu x jumlah waktu, yang mengarah pada pemutusan hubungan kerja.