标签似乎是限制页面索引的更简单的解决方案
机器人 noindex 元标记 robots noindex 元标记放置在页面的 HTML 源代码中（<head> 部分）。创建这些标签的过程只需要一点点技术知识，即使是初级 SEO 也可以轻松完成。 怎么运行的 当 Google 机器人获取该页面时，它会看到 noindex 元标记，并且不会将此页面包含在网络索引中。该页面仍会被抓取并存在于给定 URL 处，但无论从任何其他页面链接到该页面的频率如何，都不会出现在搜索结果中。 机器人元标记的示例 将此元标记添加到页面的 HTML 源代码中会告诉搜索引擎机器人为此页面以及来自该页面的所有链接建立索引。通过将“follow”更改为“nofollow”，您可以影响搜索引擎机器人的行为。上述标记配置指示搜索引擎对页面建立索引，但不跟踪放置在该页面上的任何链接。此元标记告诉搜索引擎机器人忽略其所在的页面，但跟踪其上放置的所有链接。 <meta name="robots" content="noindex, nofollow"> 放置在页面上的此标记意味着该页面或该页面包含的链接都不会被跟踪或索引。注意上面提到的nofollow和follow属性与rel=nofollow无关。这是两件不同的事情。 Rel=nofollow 应用于 马来西亚电话号码数据 链接以防止链接汁传递。我上面提到的 nofollow 属性适用于整个页面，并防止爬虫跟踪链接。 X-机器人标签 除了 robots noindex 元标记之外，您还可以通过使用具有noindex或none值的 X-Robots-Tag 设置 HTTP 标头响应来隐藏页面。 除了页面和 HTML 元素之外，X-Robots-Tag 还允许您对单独的 PDF 文件、视频、图像或任何其他无法使用机器人元标记的非 HTML 文件建立索引。 怎么运行的 该机制与 noindex 标签非常相似。旦搜索机器人到达某个页面，HTTP 响应就会返回带有 noindex 指令的 X-Robots-Tag 标头。页面或文件仍会被爬网，但不会出现在搜索结果中。 X-Robots 标签示例 这是带有不索引页面指令的 HTTP 响应的最常见示例。
https://www.taiwdata.com/wp-content/uploads/2024/03/malaysia.png
如果您需要对某些机器人隐藏您的页面，您可以指定搜索机器人的类型。下面的示例展示了如何对除 Google 之外的任何其他搜索引擎隐藏页面，并限制所有机器人跟踪该页面上的链接： X-Robots-标签：googlebot：nofollow X-Robots-标签如果您不指定机器人类型，则说明将对所有类型的爬虫均有效。 要限制整个网站上某些类型文件的索引，您可以将 X-Robots-Tag 响应指令添加到网站 Web 服务器软件的配置文件中。 这是限制基于 Apache 的服务器上的所有 PDF 文件的方法标头集 这些是 NGINX 的相同指为了限制单个元素的索引，Apache 的模式如下： # htaccess文件必须放在匹配文件的目录下。，但在某些情况下，对页面使用 X-Robots-Tag 是更好的选择： 不对整个子域或类别建立索引。 X-Robots-Tag 可让您批量执行此操作，从而避免需要逐一标记每个页面； 不对非 HTML 文件建立索引。在这种情况下，X-Robots-Tag 不是最好的选择，但却是您唯一的选择。 不过，请记住，只有 Google 确实遵循 X-Robots-Tag 说明。
頁:
[1]