Googlebot 감지 라이브러리

Google 검색 엔진에 대한 GoogleBot의 소속 여부를 판단하는 예

매우 자주 공격자는 예를 들어 Google 검색 엔진 봇으로 가장하여 콘텐츠를 전달하기 위해 웹사이트를 크롤링합니다. 공격자는 실제 봇의 헤더와 동일한 정보가 포함된 User-Agent 헤더를 전달하여 이 간단한 트릭을 수행합니다. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

사이버 범죄자의 이러한 행동은 인터넷 서버에 불필요한 부하를 줄 뿐만 아니라 귀하의 동의 없이 사이트 콘텐츠를 크롤링할 수 있습니다.

GoogleBot을 사칭하는 가짜 봇의 원치 않는 활동을 방지하기 위해 다음 PHP 코드 예제(Googlebot 감지 라이브러리)를 사용할 수 있습니다.

if (strpos($_SERVER['HTTP_USER_AGENT'],'Googlebot') !== false) {
	$iphost = gethostbyaddr($_SERVER['REMOTE_ADDR']);
	if (substr($iphost, -10) != "google.com" && substr($iphost, -13) != "googlebot.com")
		echo "It's a fake GoogleBot! :(";
	else
		echo "It's a real GoogleBot! :)";
}

이렇게 하면 Google 검색 엔진과 관련이 없는 봇의 원치 않는 활동을 방지할 수 있습니다.

웹마스터 및 웹사이트 소유자를 위한 무료 온라인 도구 및 서비스