Berkat tip dari @AndyHayden, jawaban ini
adalah triknya. Pada dasarnya mengganti mysqlconnector dengan mysqldb adalah kuncinya.
engine = create_engine('mysql+mysqldb://[user]:[pass]@[host]:[port]/[schema]', echo = False)
df.to_sql(name = 'my_table', con = engine, if_exists = 'append', index = False)
Dimana [schema] adalah nama database, dan dalam kasus khusus saya, :[port] dihilangkan dengan [host] menjadi localhost .