|
TOP
robots.txt带来了google收录奇怪现象思考
[ 编辑:qiraosky | 时间:2012-03-20 21:46:08
| 浏览:491次 | 来源:德州电脑服务网 | 作者:德州电脑服务网 ]
在帮朋友制作的一个商城系统中，因为通过GG搜索引擎site:www.amwaycity.cn时发现，搜索引擎的结果，只收录了如下图类型的网址。 用了好几天的时间来制作完成了商城和新闻资讯发布系统的设计工作，却出现了搜索引擎上的困惑，为何只收录了标题，而对标题和描述未做收录呢，开始的时候，怀疑是自己对meta的描写写法有错，或是标签使用错误，经过查看各大主要门户站的写法，对于mate部分站点最好未加"/",部分网站的写法各有不同，有以下两种情况。 <meta name ="keywords" content="安利,苏州安利,安利产品,安利雅姿化妆品,安利纽崔莱,安利资讯，安利中国，纽崔莱"> <meta name ="keywords" content="安利,苏州安利,安利产品,安利雅姿化妆品,安利纽崔莱,安利资讯，安利中国，纽崔莱" /> 标准的写法是加"/"但是为何搜索引擎未标准化的收录呢。经过查看，也未发现最基本的描述与关键字的html代码有问题。 然后怀疑是这个商城系统有问题，伪静态生成的shopex系统，因为是免费程序，自感可能会存在一些问题，但查看同样使用此程序的网站，未发现收录问题，然后对自己制作的dedecms系统做了一些动作，但是收录的时候却也同样的只收录了网址，不解，想来不是程序问题，于是程序问题怀疑排除。 在查看了更多站点的时候发现有，的代码，但知道有与没有，并不影响收录的，这时候自己想起来，前段时间自己调整过自己的robots文件，查看了自己的 文件后发现。 后面多了两条"Disallow: /"这是当时的失误，是准备增加一些不希望收录的文件夹，复制的两个"Disallow: /"，后来就忘记添上文件夹了，于是，应该就是GG收录奇怪现象的原因了。 但是这与之前GG公布的规则有些出入，公司的"Disallow: /"，解析应该是说整个站点的文件都禁止收录，但为何，还是收录，而有所不同的是，收录了网址，而未有标题与描述。 是否是GG对robots文件的处理的新形式呢?也似乎GG对robots的规则做了调整!
|
热门文章
|