Thư viện phát hiện Googlebot

Ví dụ về việc xác định sự thuộc về GoogleBot đối với công cụ tìm kiếm Google

Thông thường, những kẻ tấn công thu thập dữ liệu các trang web, chẳng hạn như chuyển nội dung, giả dạng như một bot của công cụ tìm kiếm Google. Những kẻ tấn công thực hiện thủ thuật đơn giản này bằng cách chuyển tiêu đề Tác nhân người dùng có chứa thông tin giống như trong tiêu đề của một bot thực sự: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Những hành động như vậy của tội phạm mạng không chỉ có thể tạo ra tải không cần thiết trên các máy chủ Internet của bạn mà còn thu thập dữ liệu nội dung của các trang web của bạn mà không có sự đồng ý của bạn.

Để ngăn chặn hoạt động không mong muốn của các bot giả mạo GoogleBot, bạn có thể sử dụng ví dụ mã PHP sau (thư viện phát hiện Googlebot):

if (strpos($_SERVER['HTTP_USER_AGENT'],'Googlebot') !== false) {
	$iphost = gethostbyaddr($_SERVER['REMOTE_ADDR']);
	if (substr($iphost, -10) != "google.com" && substr($iphost, -13) != "googlebot.com")
		echo "It's a fake GoogleBot! :(";
	else
		echo "It's a real GoogleBot! :)";
}

Bằng cách này, bạn có thể ngăn chặn hoạt động không mong muốn từ các bot không liên quan đến công cụ tìm kiếm Google.

Các công cụ và dịch vụ trực tuyến miễn phí dành cho quản trị viên web và chủ sở hữu trang web