Meskipun tidak mudah, Anda dapat memeriksa string USER_AGENT dan hanya menjalankan kode tersebut jika 'bot' tidak ada.
if(stripos($_SERVER['HTTP_USER_AGENT'],'bot') === false){ }
Ini akan menghentikan bot yang sebenarnya memiliki bot di string agen pengguna yang juga tidak memperhatikan robots.txt.