Saya akan bertanya pertama-tama mengapa Anda memiliki kolom varchar yang perlu diperlakukan sebagai numerik, tetapi tidak apa-apa.
Anda dapat menggunakan extra
metode queryset untuk mengonversi string Anda:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])