要想建設(shè)出一個(gè)優(yōu)秀的網(wǎng)站，掌握不同的建網(wǎng)站知識(shí)是必不可少的。ROBOTS文件作為網(wǎng)站文件類型的其中一種，它主要用于搜索引擎抓取限制的設(shè)定，通過(guò)創(chuàng)建純文本文件robots.txt，可讓網(wǎng)站的部分或全部?jī)?nèi)容不被不讓搜索引擎收錄。那么除了有這樣的好處以外，還有什么好處呢？

　　一、可提高訪問(wèn)速度

　　由于搜索引擎在進(jìn)行抓取時(shí)會(huì)耗費(fèi)服務(wù)器帶寬，如果網(wǎng)站頁(yè)面過(guò)多，那么就會(huì)導(dǎo)致網(wǎng)站的加載速度變慢，從而會(huì)影響爬蟲的抓取以及用戶的瀏覽。如果您通過(guò)添加Robots文件來(lái)設(shè)置一些不那么重要的頁(yè)面，那么就可以提高蜘蛛抓取的效率，同時(shí)也可以節(jié)省更多的帶寬，提高訪問(wèn)速度。

　　二、提高收錄效果

　　每個(gè)網(wǎng)站都有重點(diǎn)頁(yè)面和非重點(diǎn)頁(yè)面，如果對(duì)于非重點(diǎn)頁(yè)面通過(guò)Robots.txt來(lái)進(jìn)行設(shè)置，那么就可以讓蜘蛛爬行把重點(diǎn)放在重點(diǎn)頁(yè)面的抓取上，從而讓這些重點(diǎn)頁(yè)面得到更多的權(quán)重，對(duì)網(wǎng)站的友好度也會(huì)有所提高。另外在進(jìn)行建網(wǎng)站時(shí)，可能會(huì)產(chǎn)生一些臨時(shí)頁(yè)面，而如果沒(méi)有對(duì)這些臨時(shí)頁(yè)面配置Robots.txt文件的話，搜索引擎可能也會(huì)抓取這些臨時(shí)頁(yè)面，影響對(duì)重點(diǎn)頁(yè)面的抓取。

　　三、節(jié)省文件提交時(shí)間

　　在建網(wǎng)站時(shí)如果將網(wǎng)站地圖鏈接放在Robots.txt文件里，那么就可以節(jié)省去各大搜索引擎提交sitemap文件的時(shí)間了。因?yàn)楦鞔笏阉饕娑加卸嗑W(wǎng)站地圖的支持方式，在Robots.txt文件里直接添加包括sitemap文件的鏈接即可。

　　如果您想了解更多自己建網(wǎng)站的相關(guān)知識(shí)，那么上述與Robots.txt文件相關(guān)的知識(shí)您可以了解一下。