SEO优化
seo seo seo seo

SEM竞价账户代运营

SEO优化-SEM竞价托管-网络营销策划

站内优化--robots编写秘籍

当我们的网站上线之后,肯定会有一些不想让百度抓取的页面、文件,针对这种题目,我们就要运用协议去屏蔽。那么这个协议是什么?终究怎样写这个协议呢?
 
一、什么是搜查引擎协议
    搜查引擎协议也便是我们常说的robots.txt。这是我们网站和搜查引擎之间的协议。当搜查引擎来到我们网站的时候,会先看一看有没有这个文件,在进行下一步的抓取。但是需求留意的是,这个协议只是我们片面的,搜查引擎恪守与否,我们管不了。但是正常状况下搜查引擎会恪守这个协议。
    robots.txt语法:
    1.根本语法:
    User-agent 界说协议的搜查引擎。
    Disallow 不容许抓取
    Allow 容许抓取
    * 通配符,代表全部
    $ 结束符
    2.概况解说:
    User-agent: * 全部的搜查引擎都要恪守
    PS:1.英文的首字母肯定要大写。下同。2.问号肯定是英文形态下的。下同。3.问号之后肯定要有一个空格。下同。
    User-agent: Baiduspider 针对百度的协议
    Disallow: / 屏蔽全站
    Disallow: /can/ 屏蔽can文件下的全部文件
    Allow: /can/123 屏蔽can文件下的全部文件,但是容许收录123
    Disallow: /*.jpg$ 屏蔽全部的图片文件。
    PS:运用通配符,肯定要有结束符。否则能够导致正常的途径被屏蔽。
 
二、那些情况需要使用robots
    1.统一路径
    在我们的网站中,指向页面的路径一定是有且只有一个。一旦多途径指向一个页面,会导致百度不知道收录那个页面。所以我们只要屏蔽了一个,让百度收录我们想让收录的。
    2.搜索路径
    如果我们网站中有搜索框,那么我们就要把搜索结果页面给屏蔽掉。目的就是为了防止有人使用这个搜索框捣乱。
    3.标签路径
    如果我们网站有标签页面,这个标签页面就是中文的链接,中文链接百度不认识,所以要屏蔽。
    4.js文件
    对于js文件或者其他无意义的文件,我们都可以屏蔽掉。
    注意事项:
    1.基础语法中PS的点。
    2.生效时间
    robots是我们和搜索引擎之间的一个单方面的协议,不是我们今天写上,明天百度就会遵守。想让百度遵守是需要一个过程的,一般情况下是两个月。但是也不排除当天写,当天生效。所以在更改robots的时候,一定要小心小心再小心。一旦你的robots错了,对整个网站的影响是巨大的。
    3.不要随便的屏蔽整站
    一些新人在做网站的时候,没有规划,随搭随建,网站不能一下做好,经常做半截,所以很多新手就会将我们的网站全部屏蔽掉。如果你真的这么做了,那么我要恭喜你,蜘蛛可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。所以这里给新手的建议就是一定要对网站规划好,一次性搭建完成。等待收录。
声明:本资料由长沙网络营销网收集整理,转载请注明出自 http://www.seo-f.cn

您可能还会对下面的文章感兴趣: