Anda dapat menggunakan ekspresi dalam ORDER BY. Coba ini:
SELECT *
FROM comments
ORDER BY IF(ParentId = 0, Id, ParentId), Id
Ini pertama-tama akan diurutkan berdasarkan Id, jika ParentId =0, atau menurut ParentId sebaliknya. Kriteria pengurutan kedua adalah Id, untuk memastikan bahwa balasan dikembalikan secara berurutan.