Anda tidak bisa. Anda dapat mengurai markup HTML dan menggunakannya untuk membuat objek teks kaya, yang kemudian dapat Anda atur sebagai konten sel; tetapi tidak ada konversi dari HTML ke teks kaya yang dibangun ke dalam PHPExcel itu sendiri, jadi Anda harus melakukannya dengan tangan.