URL重定向。网站管理员在网页上改变URL的方法之一是加上重定向(redirect)代码,它告诉了浏览器(或者蜘蛛程序)网页已经改变到了一个新URL上。重定向有很多种,它们都对浏览器有效,但是只有一种对蜘蛛程序有效。很显然,你会希望你的网站管理员使用那一种。