關于robots的介紹，已經很清楚了，這里說說為什么對網站來說很重要。很多站長都沒有在自己的網站根目錄添加這個文件并設置它，它的標準格式你可以在搜索引擎搜索，也可以借助谷歌網站管理員工具去生成。
　　用robots.txt告訴蜘蛛自己的網站權重分布
　　要知道，對于一個網站來說，權重是有限的，尤其是草根的網站，如果將整個網站賦予等同的權限，一來不科學，二來完全是浪費服務器資源(搜索蜘蛛比正常訪問更占用服務器資源，CPU/IIS/帶寬等);你可以想想，就想你網站結構不明確一樣，沒有良好的權重聲明，那蜘蛛就無法判斷你網站上什么內容是什么重要的內容，什么內容才是你的主要內容。
　　屏蔽蜘蛛對后臺文件的收錄使用的是其它的規范化網頁代碼，這里不做說明
　　以我自己旗下的網站來說，我覺得可以屏蔽的就有cache、include、js、update、skins等目錄，為了不傻B的告訴別人管理員目錄，所以這里不寫管理員目錄。
　　User-Agent: 適用下列規則的漫游器，一般填寫“*”
　　Disallow: 要攔截的網頁，一般寫在Allow的前面
　　Allow: 不攔截的網頁，一般填“/”
　　Sitemap:網站地圖URL
　　如果你想屏蔽某些蜘蛛，有人問如果設置個性化呢?你寫在上述的上面就可以了
　　User-agent: Baiduspider
　　Disallow: /
　　用robots.txt限制垃圾搜索引擎收錄，減少網站壓力
　　你可以看看你的流量統計，看有流量主要來自哪些搜索引擎，不來流量的蜘蛛完全屏蔽;
　　因為我有一個哥們是虛擬主機提供商的，所以知道垃圾蜘蛛對網站穩定的影響很大;他告訴過我曾經遇到過部分網站**IP只有幾十個，但是消耗的流量就相當一千多ip正常訪問。
　　下面的例子是假設只允許百度、谷歌的蜘蛛訪問，其它全部禁止
　　User-agent: baiduspider
　　Disallow:
　　User-agent: Googlebot
　　Disallow:
　　User-agent: *
　　Disallow: /
　　Sitemap:
　　用robots.txt告訴蜘蛛網站地圖是哪個文件
　　Sitemap是告訴蜘蛛你的地圖文件是哪個文件，使用**地址，谷歌蜘蛛建議到谷歌網站管理員工具去提交
　　關于robots的**應用可以自行查找資料
　　參考資料：
　　http://baike.baidu.com/view/1011742.htm
　　附一些搜索蜘蛛機器人的姓名：
　　百度各個產品使用不同的user-agent：
　　無線搜索 Baiduspider-mobile
　　圖片搜索 Baiduspider-image
　　視頻搜索 Baiduspider-video
　　新聞搜索 Baiduspider-news
　　百度搜藏 Baiduspider-favo
　　百度聯盟 Baiduspider-cpro
　　網頁以及其他搜索 Baiduspider
　　搜搜蜘蛛的user-agent：
　　Sosospider
　　Sosoimagespider
　　谷歌的
　　googlebot
　　googlebot-image
　　googlebot-mobile 
相關新聞：安平站長要善于利用robots.txt這個設置做SEO優化
冀州區站長要善于利用robots.txt這個設置做SEO優化
深州站長要善于利用robots.txt這個設置做SEO優化
棗強站長要善于利用robots.txt這個設置做SEO優化
武邑站長要善于利用robots.txt這個設置做SEO優化
武強站長要善于利用robots.txt這個設置做SEO優化
饒陽站長要善于利用robots.txt這個設置做SEO優化
景縣站長要善于利用robots.txt這個設置做SEO優化
故城站長要善于利用robots.txt這個設置做SEO優化
阜城站長要善于利用robots.txt這個設置做SEO優化
我們可為您提供如下網絡服務： 外貿網站建設 營銷型網站建設 百度愛采購 阿里淘寶裝修 支付接口對接 程序開發 網站維護