Biblioteca de detección de robots de Google

Un ejemplo de determinación de la pertenencia de GoogleBot al motor de búsqueda de Google

Muy a menudo, los atacantes rastrean sitios web para, por ejemplo, pasar contenido, haciéndose pasar por un robot de motor de búsqueda de Google. Los atacantes realizan este sencillo truco pasando un encabezado de agente de usuario que contiene la misma información que en los encabezados de un bot real: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Tales acciones de los ciberdelincuentes no solo pueden crear una carga innecesaria en sus servidores de Internet, sino que también pueden rastrear el contenido de sus sitios sin su consentimiento.

Para evitar la actividad no deseada de bots falsos que se hacen pasar por GoogleBot, puede utilizar el siguiente ejemplo de código PHP (biblioteca de detección de robots de Google):

if (strpos($_SERVER['HTTP_USER_AGENT'],'Googlebot') !== false) {
	$iphost = gethostbyaddr($_SERVER['REMOTE_ADDR']);
	if (substr($iphost, -10) != "google.com" && substr($iphost, -13) != "googlebot.com")
		echo "It's a fake GoogleBot! :(";
	else
		echo "It's a real GoogleBot! :)";
}

De esta manera, puede evitar la actividad no deseada de los bots que no están relacionados con el motor de búsqueda de Google.

Herramientas y servicios en línea gratuitos para webmasters y propietarios de sitios web