共计 1021 个字符，预计需要花费 3 分钟才能阅读完成。
一个新的网站建好之后，只要搜索引擎蜘蛛抓取到的、网站内容不是很差劲那么搜索引擎就很有可能收录我们的网站，如果因为某种原因不想让搜索引擎收录网站，那要如何操作？下面本篇文章就来给大家讲解一下。
方法一：设置 robots.txt 方法
可以利用设置 robots.txt 来屏蔽搜索引擎蜘蛛，那么什么是 robots.txt？
搜索引擎使用 spider 程序自动访问互联网上的网页并获取网页信息。spider 在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt 的纯文本文件，这个文件用于指定 spider 在您网站上的抓取范围。您可以在您的网站中创建一个 robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt 文件。
如何使用 robots.txt 屏蔽搜索引擎蜘蛛？
搜索引擎默认的遵守 robots.txt 协议，创建 robots.txt 文本文件放至网站根目录下，编辑代码如下:
User-agent: *
Disallow: /通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。
如果只想禁止百度收录全站，可以编辑如下代码：
User-agent: Baiduspider
Disallow: /如果只想禁止 Google 收录全站，可以编辑如下代码：
User-agent: Googlebot
Disallow: /方式二：设置网页代码方法
在网站首页代码 <head> 与 </head> 之间，加入如下代码，即可禁止搜索引擎抓取网站并显示网页快照。
<meta name="robots" content="noarchive">在网站首页代码 <head> 与 </head> 之间，加入如下代码，即可禁止百度搜索引擎抓取网站并显示网页快照。
<meta name="Baiduspider" content="noarchive">在网站首页代码 <head> 与 </head> 之间，加入如下代码，即可禁止谷歌搜索引擎抓取网站并显示网页快照。
<meta name="googlebot" content="noarchive">以上就是如何拒绝搜索引擎收录网站的详细内容，更多请关注王尘宇博客其它相关文章！
丸趣 TV 网 – 提供最优质的资源集合！
