Nah, dalam waktu satu jam setelah memposting pertanyaan saya, saya sudah menemukan jawabannya. Mungkin saya harus melakukan sedikit riset sebelum memposting.
Masalahnya adalah sqlalchemy perlu dikonfigurasi untuk menggunakan pengkodean utf-8. Solusi dalam kode di atas adalah mengubah baris 3 menjadi:
engine = create_engine('mysql://root:@localhost/testdb?charset=utf8', encoding = 'utf-8')
