Apache拦截Bots
在Apache服务器上，使用。htaccess文件。只需向文件中添加以下代码即可阻止引擎。
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} AdsBot-Google [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule . - [F,L]
下面的代码将向Google返回403错误
如果您希望将机器人重定向到特定页面，则只需将上面的最后一行替换为以下内容。
RewriteRule ^.*$ "http\:\/\/www.yoursite\.com\/nobots.html" [R=301,L]