联系站长:782375345@qq.com
欢迎浏览-创云资讯站,网络营销推广引流知识你要的都有!
当前位置:网站首页 > seo优化 > 正文

robots什么意思(url、nofollow是什么意思)

作者:投稿用户 发布时间:2022-09-19 19:00:01 分类:seo优化 浏览:33


导读:Robots定义:搜索引擎协议。是搜索引擎蜘蛛来到网站后第一个抓取的文件(robots.txt文件)。文件包含:allow允许抓取disallow不允许抓取Disallow不建...

Robots

定义:搜索引擎协议。是搜索引擎蜘蛛来到网站后第一个抓取的文件(robots.txt文件)。

robots什么意思(url、nofollow是什么意思)

文件包含:

allow 允许抓取

disallow 不允许抓取

Disallow不建议写太多,写多了极有可能会造成站点描述显示:由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述!

建议写入不允许抓取

动态页面:即 Disallow: /?

敏感页面:例如被挂马的页面等。新建一个文件,将挂马页面链接/链接规则写入文件内,并上传至站点根目录后在robots文件内写入不允许抓取规则。即Disallow: www.xx.com/laji.txt

网站的任何页面千万不要删除!可以改页面,把标题、内容都替换掉。这么做完会发现网站关键词排名权重及流量会大幅度上涨~

被挂马/黄赌毒的网站,外部链接数据会大量增加!造成这个原因就是因为掉入了蜘蛛池,我们可以合理利用这些外链,提升网站的关键词排名!

建议多写入允许抓取

重要页面

不收录的页面(新建一个文件,将未收录的页面链接写入文件内,并上传至站点根目录后在robots文件内写入允许抓取规则。即Allow: www.xx.com/zhuaqu.txt)

Nofollow

定义:告诉搜索引擎nofollow的页面不重要不要传递权重,但可以抓取。

robots什么意思(url、nofollow是什么意思)

网站nofollow不易过多!nofollow过多的页面收录、排名都不是很好!

URL优化

url优化是重中之重!

robots什么意思(url、nofollow是什么意思)

抓取:

自动抓取:根据需求主动抓取网页内容

被动抓取:根据链接或提交抓取网页内容

主动抓取是根据某些特征来抓取的!(大平台并不存在蹲守蜘蛛)特征分为url特征及内容特征。

URL特征:厂家1688、借势吸引蜘蛛(例如url带其他站的品牌或者域名www.xx.com/baiducom)

现在URL长短已经不影响收录了,只要主要下层级就可以了。

将标题类似的更新到同一目录下(标题、链接就会形成规则),可以减短搜索引擎蜘蛛分析爬取时间,做到一把抓!



seo优化排行
最近发表
标签列表

关灯