歡迎光臨武漢SEO公司武漢愛擎科技有限公司官方網站www.7qdm.com!
15207158152

網站SEO優化時robots文件寫法以及注意事項

  Robots.txt是存放在站點根目錄下的一個的純文本文件,蜘蛛進入網站做的第一件事就是抓取robots文件,看看其規定了什么?它具有強大的功能和作用:

  從seo優化角度來說,一份好的Robots文件可以規定搜索引擎蜘蛛那些內容可以抓取,哪些內容不能抓取,這也為搜索引擎節約了大量的搜索資源,對于搜索引擎來說肯定是比較喜歡的,同時也可以讓搜索引擎對我們的站點增加友好度。以及網站的動態鏈接統一化,同一路徑有利于集中權重。從我自身來說,可以保護個人隱私不至于被公開,例如:網站隱私、后臺用戶信息等。



  一:學習robots文件編寫,前提是得熟悉網站url和Url的原理以及網站程序目錄。為什么?很簡單蜘蛛是通過url抓取的。文件具體形式,以阿里云主機根目錄為例,格式表示如下:

  技巧:域名=根目錄。

  /htdocs/=域名

  /htdocs/skin/=域名/skin/

  /htdocs/skin/css/=域名/skin/stivle.css/

  二:robots寫法注意點:冒號后面有一個空格,必須全英文模式書寫,字母大小寫要注意,這是比較嚴謹的,需要特別注意。例如

  Disallow:/ab/abc/

  Allow:/ab/abc/

  User-agent:Baiduspider

  網站robots文件寫法完整版以及注意事項

  三:操作流程以及寫法:桌面新建一個.txt文件,在文件上寫robots規則。

  1:下面先來看看名詞定義解釋,不同的搜索引擎有不同的蜘蛛。

  【1】:User-Agent:對蜘蛛進行的規定(1)對百度蜘蛛的規定User-agent:Baiduspider。(2)谷歌User-Agent:Googlebot(3)必應User-agent:Bingbot(4)360 User-Agent:360Spider(5)宜搜User-Agent:Yisouspider(6)搜狗User-Agent:Sogouspider(7)雅虎User-Agent:Yahoo!Slurp

  User-Agent:*指對所有的蜘蛛

  【2】:Disallow:指禁止抓取。

  【3】:Allow:指允許抓取。

  2:寫法:以上三個格式綜合使用,例如:我們要屏蔽/skin/文件夾里面的一部分文件,但是又希望抓取到/skin/文件夾里面的/css/文件夾,書寫技巧:先禁止抓取/skin/文件夾,后面再允許抓取/css/文件夾就可以了。

  Disallow:/skin/表示禁止抓取/skin/文件夾

  Allow:/css/表示允許抓取/skin/文件夾里面的/css/文件夾

  注意點:前后都有斜杠表示文件夾。

  3:符號名詞解釋:

  (1)*通配符:代表所有的。例如:

  User-Agent:*就是表示對所有的蜘蛛

  Allow:/skin/*表示允許包括/skin/文件夾以下的所以文件

  (2)$終止符:表示結束。例如不允許抓取.js結尾的文件,寫成:Disallow:/*.js$

 

  四:常見屏蔽對象:

  1:中文的鏈接-路徑,抓取不友好,或者我們不需要它來排名。例如屏蔽“聯系我們”:Disallow:/lianxi/

  2:搜索結果頁面,重復的質量低的。例如:

  https://www.shiguangkey.com/course/search?key=%E5%BB%BA%E7%AD%91&cateKey=%E5%BB%BA%E7%AD%91

  https://www.shiguangkey.com/course/search?key=%E4%BD%A0%E5%A5%BD&cateKey=%E4%BD%A0%E5%A5%BD

  技巧:先找到規律。假如我們不允許抓取以下的,寫成:Disallow:/course/search?key=*

  3:動態路徑,鏈接規律:?%/?等等例如屏蔽帶有?號的動態鏈接:Disallow:/*?*

  4:js文件的Disallow:/*.js$備注:官方的說法,關于js使用建議

  5:網站的目錄:模板目錄、插件目錄、后臺目錄。。。。。。

  (1):wordpress:如圖

  

  (2)織夢程序的。如圖:

  

  五:編寫誤區:

  區別性:例如

  Disallow:/ab=Disallow:/ab*

  Disallow:/ab/前后有斜杠的/ab/代表單個文件夾

  Disallow:/ab=Disallow:/*斜杠代表了整個網站,范圍更廣。

  例:

  Disallow:/ab這個規則對于以下兩個鏈接都是屏蔽的:Disallow:/abc Disallow:/ab/123

  Disallow:/ab/這個規則,只對Disallow:/ab/123生效,對于Disallow:/abc是無效的。

  六:網站安全:Disallow:/dede就知道網站是織夢做的,就會暴露網站程序。

  1:織夢后臺是可以修改程序的,例:Disallow:/dede把dede改成ffff即:Disallow:/ffff

  2:wordpress呢,例:Disallow:/wp_admin修改成:Disallow:/*admin

  七:檢測:寫完robots文件后,記得檢測一下文件。我們可以到百度站長平臺校驗。

  八:由于蜘蛛首先抓取的是robots文件,所以我們需要把我們網站地圖【網站鏈接集成】寫入到robots文件里面,可以放在文件最底部,方便蜘蛛更快抓取和更好收錄。

  總之robots.txt文件是個比較嚴謹,書寫過程嚴格按照規則來,當然最重要的是寫好之后要檢查,以防書寫錯誤,導致蜘蛛抓取不到。


版權聲明:
本網站發布的文章網站SEO優化時robots文件寫法以及注意事項為武漢愛擎科技有限公司原創或網絡收集、整理,當前文章地址:http://www.7qdm.com/show/181.html,如有涉及版權問題請與本網站聯系刪除!版權歸原作者所有,轉載請注明出處!

    你覺得這篇文章怎么樣?

    10
    上一篇:暫無資料 下一篇: seo優化時常用的五種尋找關鍵詞方法
    相關內容
    亚洲唯美清纯图片区_偷拍美女阴部图片_色四月 好妹妹_欧美 日本 亚洲 视频 <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>