robots.txt不支持的代码为()的简单介绍

今天给各位分享robots.txt不支持的代码为()的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、robots协议
• 2、ROBOTS.TXT文件如何查询?
• 3、登录网站出现由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面,怎么办
• 4、网站根目录放robots.txt文件是什么意思
• 5、关于robots.txt怎么写
• 6、robots.txt代码设置什么，如何设置它

robots协议

百度百科： robots协议也叫robots.txt （统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

简单来说即：robots协议是一个君子协议，是网站所有者编写的，用来告诉搜索引擎该网站下的哪些内容可以爬取、收录，哪些内容不可以爬取和收录。

robots协议是通用共识，一般来说，大型的、有资质的搜索引擎都会遵守，robots协议是网站所有者不想要公开在网上的内容，是为了保障个人隐私，但是robots协议里规定的内容是可以获取的，只是大家默认遵守该协议，不获取协议内的内容。

robots协议是一个纯文本文件，通常是搜索引擎第一个爬取的文件，搜索引擎该文件了解该网站哪些是所有者不想被收录的内容，进行有选择的爬取和收录。

robots协议命名为robots.txt，放在网站的根目录下。

简单的robots协议如下：

其中 User-agent 代表要遵守该协议的搜索引擎，如果是通配符‘*’，代表所有搜索引擎都要遵守该协议。

Disallow 代表不允许搜索引擎访问的内容， /*?* 代表不允许搜索引擎访问所有带？的路径内容， / 代表不允许搜索引擎访问该网站所有内容。

实际环境中，网站所有者依据个人情况编写该文件，robots协议的编写会影响网站的收录情况和搜索引擎的效率。

ROBOTS.TXT文件如何查询?

robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。

robots.txt其实就是个记事本文件，这个文件应该放到网站的根目录

如想让蜘蛛抓取你的所有页面，可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可

robots.txt最主要的代码是Disallow

格式:User-agent:*

Disallow:/admin

Disallow:/pro.asp?

Disallow:/abc.html

登录网站出现由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面,怎么办

原因：

因为网站的robots.txt文件屏蔽了百度，所以百度无法抓取该网站

方法：

1、修改robots文件，取消该页面的屏蔽，robots的标准写法百度百科里有详细介绍：网页链接

2、在百度站长平台（已更名为百度资源平台）更新网站robots，过一段时间，您的这个网站就会被正常抓取收录了。

影响:

Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的。搜索引擎的原理是通过一种爬虫spider程序，自动搜集互联网上的网页并获取相关信息。

而鉴于网络安全与隐私的考虑，每个网站都会设置自己的Robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。搜索引擎则会按照Robots协议给予的权限进行抓取。

Robots协议代表了一种契约精神，互联网企业只有遵守这一规则，才能保证网站及用户的隐私数据不被侵犯。违背Robots协议将带来巨大安全隐忧

此前，曾经发生过这样一个真实的案例：国内某公司员工郭某给别人发了封求职的电子邮件，该Email存储在某邮件服务公司的服务器上。因为该网站没有设置robots协议，导致该Email被搜索引擎抓取并被网民搜索到，为郭某的工作生活带来极大困扰。

如今，在中国国内互联网行业，正规的大型企业也都将Robots协议当做一项行业标准，国内使用Robots协议最典型的案例，就是淘宝网拒绝百度搜索、京东拒绝一淘搜索。不过，绝大多数中小网站都需要依靠搜索引擎来增加流量，因此通常并不排斥搜索引擎，也很少使用Robots协议。

北京市汉卓律师事务所首席律师赵虎表示，Robots协议是维护互联网世界隐私安全的重要规则。如果这种规则被破坏，对整个行业就是灭顶之灾。

以上内容参考 百度百科-robots协议

网站根目录放robots.txt文件是什么意思

通过给网站设置适当的robots.txt对Google和百度seo优化的作用是很明显的。WordPress博客网站也一样。 我们先看看robots.txt是什么，有什么作用？ robots.txt是什么？ 我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文档，它告诉Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止收录的。 搜索引擎蜘蛛 spider（Googlebot/Baiduspider）来访问你的网站页面的时候，首先会查看你的网站根目录下是否有robots.txt文件，如果有则按照里面设置的规则权限对你网站页面进行抓取和索引。如淘宝网就通过设置robots.txt屏蔽百度搜索引擎： User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / robots.txt的作用 我们了解了什么是robots.txt，那它有什么作用，总体来说，robots.txt文件至少有下面两方面的作用： 1、通过设置屏蔽搜索引擎访问不必要被收录的网站页面，可以大大减少因spider抓取页面所占用的网站带宽，小网站不明显，大型网站就很明显了。 2、设置robots.txt可以指定google或百度不去索引哪些网址，比如我们通过url重写将动态网址静态化为永久固定链接之后，就可以通过robots.txt设置权限，阻止Google或百度等搜索引擎索引那些动态网址，从而大大减少了网站重复页面，对SEO优化起到了很明显的作用。 robots.txt的写法 关于如何写robots.txt文件，在下面我们会以WordPress博客来作更具体举例说明。这里先提示几点robots.txt写法中应该注意的地方。如robots.txt文件里写入以下代码： User-agent: * Disallow: Allow: / robots.txt必须上传到你的网站根名录下，在子目录下无效； robots.txt，Disallow等必须注意大小写，不能变化； User-agent，Disallow等后面的冒号必须是英文状态下的，冒号后面可以空一格，也可以不空格。网上有人说冒号后面必须有空格，其实没有也是可以的，请看谷歌中文网站管理员博客的设置就是这样： ； User-agent表示搜索引擎spider：星号“*”代表所有spider，Google的spider是“Googlebot”，百度是“Baiduspider”； Disallow:表示不允许搜索引擎访问和索引的目录； Allow:指明允许spider访问和索引的目录，Allow: / 表示允许所有，和Disallow: 等效。 robots.txt文件写法举例说明 禁止Google/百度等所有搜索引擎访问整个网站 User-agent: * Disallow: / 允许所有的搜索引擎spider访问整个网站(Disallow:可以用Allow: /替代) User-agent: * Disallow: 禁止Baiduspider访问您的网站，Google等其他搜索引擎不阻止 User-agent: Baiduspider Disallow: / 只允许Google spider： Googlebot访问您的网站，禁止百度等其他搜索引擎 User-agent: Googlebot Disallow: User-agent: * Disallow: / 禁止搜索引擎蜘蛛spider访问指定目录 (spider不访问这几个目录。每个目录要分开声明，不能合在一起) User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /~jjjj/ 禁止搜索引擎spider访问指定目录，但允许访问该指定目录的某个子目录 User-agent: * Allow: /admin/far Disallow: /admin/ 使用通配符星号"*"设置禁止访问的url (禁止所有搜索引擎抓取/cgi-bin/目录下的所有以".html"格式的网页(包含子目录)) User-agent: * Disallow: /cgi-bin/*.html 使用美元符号"$"设置禁止访问某一后缀的文件 (只允许访问以".html"格式的网页文件。) User-agent: * Allow: .html$ Disallow: / 阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面 User-agent: * Disallow: /*?* 阻止Google spider：Googlebot访问网站上某种格式的图片 (禁止访问.jpg 格式的图片) User-agent: Googlebot Disallow: .jpg$ 只允许Google spider：Googlebot抓取网页和.gif格式图片 (Googlebot只能抓取gif格式的图片和网页，其他格式的图片被禁止； 其他搜索引擎未设置) User-agent: Googlebot Allow: .gif$ Disallow: .jpg$ ....... 只禁止Google spider：Googlebot抓取.jpg格式图片 (其他搜索引擎和其他格式图片没有禁止) User-agent: Googlebot Disallow: .jpg$

关于robots.txt怎么写

robots 是站点与 spider 沟通的重要渠道，站点通过 robots 文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt 文件。

robots 文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以 CR,CR/NL, or NL 作为结束符），每一条记录的格式如下所示： field:optional spacevalueoptionalspace

在该文件中可以使用#进行注解，具体使用方法和 UNIX 中的惯例一样。该文件中的记录通常以一行或多行 User-agent 开始，后面加上若干 Disallow 和 Allow 行 , 详细情况如下：

User-agent:该项的值用于描述搜索引擎 robot 的名字。在 "robots.txt" 文件中，如果有多条- User-agent 记录说明有多个 robot 会受到 "robots.txt" 的限制，对该文件来说，至少要有一条 User-agent 记录。如果该项的值设为 ，则对任何 robot 均有效，在 "robots.txt" 文件中，"User-agent:" 这样的记录只能有一条。如果在 "robots.txt" 文件中，加入 "User-agent:SomeBot" 和若干 Disallow、Allow 行，那么名为 "SomeBot" 只受到 "User-agent:SomeBot" 后面的 Disallow 和 Allow 行的限制。

Disallow:该项的值用于描述不希望被访问的一组 URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以 Disallow 项的值开头的 URL 不会被 robot 访问。例如 "Disallow:/help" 禁止 robot 访问 /help.html、/helpabc.html、/help/index.html，而 "Disallow:/help/" 则允许 robot 访问 /help.html、/helpabc.html，不能访问 /help/index.html。"Disallow:" 说明允许 robot 访问该网站的所有 url，在 "/robots.txt" 文件中，至少要有一条 Disallow 记录。如果 "/robots.txt" 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。

Allow:该项的值用于描述希望被访问的一组 URL，与 Disallow 项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以 Allow 项的值开头的 URL 是允许 robot 访问的。例如 "Allow:/hibaidu" 允许 robot 访问 /hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有 URL 默认是 Allow 的，所以 Allow 通常与 Disallow 搭配使用，实现允许访问一部分网页同时禁止访问其它所有 URL 的功能。

使用 "*"and"$"：Baiduspider 支持使用通配符 "" 和 "$" 来模糊匹配 url。 "" 匹配 0 或多个任意字符 "$" 匹配行结束符。

最后需要说明的是：百度会严格遵守 robots 的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对 robots 中所写的文件和您不想被抓取和收录的目录做精确匹配，否则 robots 协议无法生效。

robots.txt代码设置什么，如何设置它

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。robots.txt文件的格式

User-agent: 定义搜索引擎的类型

Disallow: 定义禁止搜索引擎收录的地址

Allow: 定义允许搜索引擎收录的地址

我们常用的搜索引擎类型有： (User-agent区分大小写)

google蜘蛛：Googlebot

百度蜘蛛：Baiduspider

yahoo蜘蛛：Yahoo!slurp

alexa蜘蛛：ia_archiver

bing蜘蛛：MSNbot

altavista蜘蛛：scooter

lycos蜘蛛：lycos_spider_(t-rex)

alltheweb蜘蛛：fast-webcrawler

inktomi蜘蛛： slurp

Soso蜘蛛:Sosospider

Google Adsense蜘蛛:Mediapartners-Google

有道蜘蛛:YoudaoBot

robots.txt文件的写法

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有的动态页面

Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件。

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

robots.txt文件用法举例

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

实例分析：淘宝网的 Robots.txt文件

User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /

很显然淘宝不允许百度的机器人访问其网站下其所有的目录。

例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)

User-agent: *

Allow:

例3. 禁止某个搜索引擎的访问

User-agent: BadBot

Disallow: /

例4. 允许某个搜索引擎的访问

User-agent: Baiduspider

allow:/

例5.一个简单例子

在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。

需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。

User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

Robot特殊参数：

允许 Googlebot：

如果您要拦截除 Googlebot 以外的所有漫游器不能访问您的网页，可以使用下列语法：

User-agent:

Disallow: /

User-agent: Googlebot

Disallow:

Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。

“Allow”扩展名：

Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。

您也可以同时使用“Disallow”和“Allow”。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目：

User-agent: Googlebot

Disallow: /folder1/

Allow: /folder1/myfile.html

这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。

如果您要拦截 Googlebot 并允许 Google 的另一个漫游器（如 Googlebot-Mobile），可使用”Allow”规则允许该漫游器的访问。例如：

User-agent: Googlebot

Disallow: /

User-agent: Googlebot-Mobile

Allow:

使用 * 号匹配字符序列：

您可使用星号 (*) 来匹配字符序列。例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目：

User-Agent: Googlebot

Disallow: /private*/

要拦截对所有包含问号 (?) 的网址的访问，可使用下列条目：

User-agent: *

Disallow: /*?*

使用 $ 匹配网址的结束字符

您可使用 $ 字符指定与网址的结束字符进行匹配。例如，要拦截以 .asp 结尾的网址，可使用下列条目：

User-agent: Googlebot

Disallow: /*.asp$

您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以 ? 结尾的网址可能是您要包含的网页版本。在此情况下，可对 robots.txt 文件进行如下设置：

User-agent: *

Allow: /*?$

Disallow: /*?

Disallow: / *?

一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。

Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。

Robots Meta标签

Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots Meta标签也是放在页面中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots Meta标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

index指令告诉搜索机器人抓取该页面；

follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是index和follow，只有inktomi除外，对于它，缺省值是index、nofollow。

需要注意的是：

上述的robots.txt和Robots Meta标签限制搜索引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于RobotsMETA标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。

关于robots.txt不支持的代码为()和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。