Saya di Ubuntu 15.04 dan saya mendapatkan kesalahan yang sama seperti yang dinyatakan di atas.
Saya melakukannya :
sudo apt-get install libmysqlclient-dev
Setelah ini saya lakukan:
gem install mysql2
Dan sekarang saya berhasil melakukan
rails new <app_name> -d mysql
tanpa kesalahan.