您好!欢迎进入广东华商网络科技天天彩票

新闻中心

联系我们

SEO优化知识

首页 > SEO优化知识 > >

SEO优化中Robots的设置至关重要

发布日期:2019-02-20来源:www.dgce.com.cn

 很多刚接触SEO的朋友还不怎么了解robots是什么,其实robots是一个跟目录文件,虽然操作和用处极为简单,但是它在SEO优化推广中的有着至关重要的意义。

它的用处就是指定哪些搜索引擎蜘蛛可以抓取内容,以及禁止搜索引擎蜘蛛抓取网站的部分或全部内容。看到这里想必已经明白了吧,就是说不小心禁止某个搜索引擎抓。ū热绨俣龋,那么在这搜索引擎上就不会有收录更别说排名了,也就搜索不到网站里面的任何内容。

那么怎么使用呢?

Robots.txt 文件放在网站根目录下,并且该文件是可以通过互联网进行访问的。 例如:如果您的网站地址是 https://www.arklphoto.com/那么,该文件必须能够通过 https://www.arklphoto.com/robots.txt 打开并看到里面的内容。

如果要调整改动就需要通过FTP链接服务器进行改动了,云主机可以通过远程桌面直接修改,有些主机供应商的管理后台有支持文件控制的也可以直接操作修改。

里面涉及到的几个点分别是【User-agent】【Disallow】【Allow】【Sitemap】

User-agent:用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。

Disallow:用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。

seo优化推广

Allow:用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。

Sitemap:用于标注网站地图链接sitemap.xml,增加Sitemap谷歌为xml格式,百度为html格式

例如:

User-agent: Baiduspider【允许百度蜘蛛收录】

Disallow: User-agent: Sosospider【禁止搜搜蜘蛛收录】

Disallow: /bin/【禁止抓取bin文件里面的内容】

Allow:/product/【允许抓取product栏目类容】

Sitemap: https://www.arklphoto.com/sitemap.xml【本站的网站地图是sitemap.xml】

案例推荐:

服务区域

365*24小时全国统一服务热线

0769-22039555

服务热线:13827298991(陈先生)/13903036195(张先生)

技术专线:0769-22039111 邮箱:[email protected]

地址: 南城街道宏一路G1蜂汇1栋写字楼803、804

华商微信公众号

华商网络专业为企业提供基础互联网建设服务:网站建设,网站制作,网站设计,微官网设计制作,小程序开发等等,您的选择是我们奋力向前的最好动力!

版权所有:广东华商网络科技天天彩票 备案号:粤ICP备13071417号-4

祥云客户端地址:https://www.arklphoto.com/cn/XYcms.zip

百微宝客户端地址:https://www.arklphoto.com/cn/HScms.rar

获取同行网站建设方案,10秒填写,急速获得

今日已有165人获取方案

在线客服
服务热线
0769-22039555
138-2729-8991

业务咨询微信
返回顶部