Biblioteca de detectare Googlebot

Un exemplu de determinare a apartenenței GoogleBot la motorul de căutare Google

De foarte multe ori, atacatorii accesează cu crawlere site-urile web, de exemplu, pentru a transmite conținut, prezentându-se ca un bot al motorului de căutare Google. Atacatorii execută acest truc simplu trecând un antet User-Agent care conține aceleași informații ca în anteturile unui bot real: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Astfel de acțiuni ale criminalilor cibernetici nu numai că pot crea încărcări inutile pe serverele dvs. de internet, ci pot, de asemenea, să acceseze cu crawlere conținutul site-urilor dvs. fără consimțământul dumneavoastră.

Pentru a preveni activitatea nedorită a unor roboți falși care fac uz de GoogleBot, puteți utiliza următorul exemplu de cod PHP (biblioteca de detectare Googlebot):

if (strpos($_SERVER['HTTP_USER_AGENT'],'Googlebot') !== false) {
	$iphost = gethostbyaddr($_SERVER['REMOTE_ADDR']);
	if (substr($iphost, -10) != "google.com" && substr($iphost, -13) != "googlebot.com")
		echo "It's a fake GoogleBot! :(";
	else
		echo "It's a real GoogleBot! :)";
}

În acest fel, puteți preveni activitatea nedorită de roboți care nu au legătură cu motorul de căutare Google.

Instrumente și servicii online gratuite pentru webmasteri și proprietari de site-uri web