宁波做网站
服务咨询热线:0574-88171828 15867435963
专业网站制作客服QQ[853624982]  日本の顧客訪問 [日本語]  
首 页 网站制作 网站推广 域名服务 虚拟主机 VPS主机 企业邮箱 软件开发 经典案例

建站知识

联系我们

网站首页 >> 建站知识

宁波网站建设之robots文件设置须知

来源:本站
时间:2017-11-7 12:06:39


众所周知SEO优化中robots文件是用来管理机器人抓取网站内容的,而robots.txt文件则是放在我们网站根目录下面的一个文本文件,用来规定什么蜘蛛(机器人)可以抓取什么文件,不可以抓取什么文件。我们通常用robots来告诉搜索引擎,这个目录你可以进,那个目录你不可以进;这个文件你可以访问,那个文件你不能访问。但是有些时候,robots文件,我们还是要谨慎使用的好。
 
事情还得从年初开始。年初优觉科技的网站维护员负责的一个网站因为网站刚建好,内容还没填充完整,大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取,等到一个月之后,填充得已经差不多了,我就开放蜘蛛抓取。我不仅有提交首页网址给百度,提交网址诊断,而且还发了不少外链,但一天一天过去,在百度上面SITE网站就是一个收录都没有。我就纳闷了,是不是我什么地方设置错误了呢?结果在谷歌上面site了一下已经有上百个收录了,306,搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽,百度长时间未反应过来导致的。
 
前两个月,我又有一个新站重新建好开始填充内容,也是把网站屏蔽着,结果到现在都两个月过去了,可是还是不收录,首页还是提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。”而谷哥收录了93条,搜狗收录了1条,360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。
 
 
前两天在群里与伙伴们讨论,一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。
 
在此蜗牛SEO慎重的提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把长沙网站建设建立好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。因此建议大家多多注意robots的设置。



宁波263企业邮箱
宁波网站建设
:: 在线客服 ::
客服电话
86-0574-88171828
86-015867435963
E-mail:sales@weiwe.cn
在线MSN
在线QQ
宁波网站成功案例
宁波建站知识
网站建设1000元起
.com域名50元,cn第一年50元
购虚拟主机2元/M,赠企业邮局
免费咨询网站问题
网站全球GOOGLE,百度推广
企业网站百度免费推广
宁波外贸网站建设
速代办宁波企业网站备案
本站关键字:宁波网站制作 | 宁波GOOGLE推广 | 宁波做网站 | 宁波网络公司 | 网页制作公司 | 宁波网站推广 | 网页制作 | 宁波软件开发 | 宁波域名注册
首 页 :: 关于我们 :: 联系我们 :: 付款方式 :: 建站知识 :: 新闻动态 :: 友情链接 :: 合作伙伴 :: 网站地图
COPYRIGHT ? 2003-2009 ALL RIGHT RESERVED,WEIWE.CN
威维网络 版权所有   浙ICP备09045242号