Saya telah melakukan migrasi serupa dan menurut saya Anda berada di jalur yang benar.
Ambil saja mysqldump dari DB Anda dan simpan dalam file, mis.:
mysqldump -h [host] -u [user] -p[password] [dbname] > dumpfilename.sql
Sangat. Anda dapat terhubung ke instans MySQL RDS sama seperti Anda terhubung ke instans MySQL lainnya. Nama host disebut sebagai "titik akhir" di AWS Management Console.
Setelah Anda membuat instance RDS dan menyiapkan grup keamanan, Anda siap memuat dump:
mysql -h [endpoint] -u [user] -p[password] [dbname] < dumpfilename.sql
