天天综合天天色-天天综合天天综合-天天综合亚洲国产色-天天综合在线观看-久久成人18免费-久久成人18免费网站

　　您會應(yīng)用robots.txt,鄭州網(wǎng)站優(yōu)化的robots.txt高級應(yīng)用程序技能嗎?

　　robots.txt使用要點

　　在介紹高級應(yīng)用程序之前，讓我們先看看使用robots.txt的要點：

　　1.每個域名，無論它是否是子域名，最多可以有一個robots.txt文件，可以放在網(wǎng)站根目錄中。YourName.com的robots.txt對abc.youname.com沒有任何限制。

　　2.每個協(xié)議都可以有robots.txt。例如，http://yourname.com和https://yourname.com可以各有一個robots.txt。

　　3.每個端口可以有一個robots.txt。例如，http://yourname.com和http://yourname.com:8080可以各有一個robots.txt。

　　4.文件名必須是小寫。不可能是robots.txt。

　　5.用戶代理的名稱和用戶代理的大小寫、允許、不允許、爬行延遲、站點地圖指示符都是不敏感的.

　　6.robots.txt中包含的URL區(qū)分大小寫。通過區(qū)分大小寫，可以有效地排除索引。

　　“允許”和“不允許”的URL必須是不包括協(xié)議、域名和端口的路徑。

　　7.不允許：http://yourname.com/abc.htm錯了。更改為“不允許”：/abc.htm

　　8.Sitemap必須包含以HTTP或HTTPS開頭的完整URL。

　　9.txt不是死鎖提交工具。如果要刪除死鎖索引，則應(yīng)登錄到搜索引擎網(wǎng)站管理員平臺提交。

　　10.txt只差于robots.txt，在這個文件中沒有任何區(qū)別，也就是說，是否要做這個排除。刪除robots.txt意味著爬行對漫游完全開放。

　　11.robots.txt只是一個紳士，而不是一個惡棍。歷史上有許多違反robots.txt的行為。網(wǎng)站想在著陸后發(fā)布機密信息。

　　12.如果要嚴(yán)格防止搜索引擎索引，建議不使用索引標(biāo)記。但百度不支持。

　　13.Google和百度不支持爬行延遲，而Yandex和Bing則支持。Yandex還支持主機指示符來表示首選域名。

　　14.符號#用于注釋。

　　更多詳情了解，鄭州網(wǎng)絡(luò)公司，鄭州網(wǎng)絡(luò)推廣，鄭州網(wǎng)站優(yōu)化，鄭州網(wǎng)站制作：http://www.tzqinpai.cn/