比来看到高端SEO社群里有同窗会商Robots相干题目，我们从实战的角度，给大师讲讲怎么写Robots写法，以及在实战中可能碰到的题目，都给大师讲一下！盼望可以辅助更多不懂的同窗！
Robots界说
什么是Robots，简略来讲，实在Robots就是放在网站根目次下的一个TXT文件，可是这个TXT文件对搜刮引擎划定，哪些页面可以拜访，哪些页面不可。
Robots一般放在网站根目次下，文件名固定为robots.txt的（全体小写）、当搜刮引擎要爬取我们网站的时辰，会先读一下robots.txt里面的内容，判定哪些URL可以拜访，哪些不可，然落后行爬取、收录。
Robots规矩
常用的几类语法：
User-agent: 界说搜刮引擎的类型
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
Disallow: 界说制止搜刮引擎收录的地址
举个例子来讲：User-agent: * Disallow: /
制止所有搜刮引擎拜访网站，(*)为通配符
Allow: 界说答应搜刮引擎收录的地址
User-agent: * Disallow: /a/ Allow: /a/b
如上面例子，限制搜刮引擎抓取a目次，但答应搜刮引擎抓取a目次下的b目次
$通配符
User-agent: * Allow: .htm$
匹配URL结尾的字符。如下面代码将答应蜘蛛拜访以.htm为后缀的URL：
*通配符
User-agent: * Disallow: /*.htm
告知蜘蛛匹配肆意一段字符。如下面一段代码将制止所有蜘蛛抓取所有htm文件：
Sitemaps地位
Sitemap: http://www.***.com/sitemap.xml
Robots心得
1、很多伴侣都爱好让搜刮引擎不抓取本身的后台，于是将本身的后台地址写到robots.txt里面，实在小我不建议如许做，由于斟酌到收集平安，很多Hack都爱好经由过程robots.txt看大师的后台，便利进犯！
2、网站必需要有robots.txt，假如网站没有robots.txt，搜刮引擎随便抓取的话，可能会抓取到一些低质量页面，从而导致网站收录、流量受到影响,如上图是没有robots.txt。
3、当我们做完robots.txt后，必定要往【百度站长东西平台】抓取、测试robots.txt，以及测试URL是否可以抓取。
文章起源：逆冬黑帽SEO(ID：gh_c3dd79adc24e)，原文链接：https://mp.weixin.qq.com/s/jjUveBOtsRGaFzgMiq2UrQ
知道SEO道理却做不出后果的原因剖析
想要做好SEO优化，须要把握SEO的道，拥有利他思维，网站本无价值，须要SEO优化职员经由过程网站谋划及内容计划运营来付与它价值，依据网站类型及诊断，制订可履行SEO优化计划，在履行的进程中不竭完美SEO优化计划，如许你才干扶植一个有价值有排名有流量的站点。
宋九九：搜索引擎优化是什么？企业或小我为什么要做搜索引擎优化网站优化？
搜索引擎优化要害词排名有所波动属于正常情形，一是同业竞争年夜导致的，一是被搜刮算法误中，有时是被人工干涉了。
网站日记怎么看？对SEO优化有何影响
网站上线后，提交网站舆图给各年夜搜刮引擎平台后，发明网站日记中搜刮引擎蜘蛛来访量有所增添，而且都返回200，阐明网页在蜘蛛来访抓取的时辰，返回的是正常的网页，也就是这些网页会被搜刮引擎抓取和正常收录。
谈谈我懂得的被动收进，若何打造本身的被动收进？
什么是被动收进?有人说被动收进就是睡后收进，再口语一点就是睡着觉也有收进，俗称【躺赚】。而白杨却以为，这个被动收进，准确说明应当是是残剩收进，或者说是复利收进。要弄懂被动收进，那他是不是还有一个对应词汇自动收进?是的。实在还有一个叫组合收进。对，这也就是收进组成三种情势：自动收进、被动收进、组合收进
哪些SEO优化操纵题目值得我们存眷？
当我们在给网站进行SEO优化的时辰，有一些萌新总会问，应当时刻留心哪些方面的优化后果呢?博主将在这篇文章中总结一下一些常见的察看方法。
