首页 > 网站 > 建站经验 > 正文

建站教程:为什么网站内容无法被搜索引擎抓取?

2020-03-18 19:55:59
字体:
来源:转载
供稿:网友


如何确保让搜索引擎轻松抓取您的网站?

如果您的网站无法被搜索引擎抓取,那么可能是以下原因造成的:

1、HTTPS安全实施

如果你最近跳转到HTTPS时,可能没有机会审核或以其他方式出现了识别安全证书的安装问题,进行表面审核时可以帮助你确定是什么在影响HTTPS的转换。

如果你最初购买SSL证书的时候没有考虑到网站稍后用于什么,那么可能会出现分歧。需要记住的一件事是,你在购买证书时必须非常谨慎,确保它涵盖了你想要的所有子域。

如果不这样做,可能会导致一些问题,比如无法重定向URL。

如果你没有获得完整的通配符证书,并且在子域上有URL参数(使用绝对URL),你的证书也没有覆盖这些URL,那么你无法将这些URL重定向到https://。

这就是为什么在购买SSL证书时要注意你的选项的原因,因为它可能会对你的站点产生负面影响。

2、错误的重定向或过多的重定向会导致网站性能下降

如果不密切关注正在创建的重定向,也很容易创建冲突的重定向。

此外,还很容易让重定向失去控制,导致每个网站URL有数十个或更多重定向,进而导致网站性能下降。

解决此问题的简单方法是:确保你的重定向都是以1:1的比例创建的。

3、HTTPS和 HTTP URLs上的内容不应该同时加载

正确的做法是:其中一个重定向到另一个,而不是两者都重定向。如果同时加载两个,那么站点的版本安全就会出现问题。如果你在浏览器中输入网站的URL,请分别测试https://和http://。

如果两个URL都加载,则会显示两个版本的内容,重复的URL可能导致重复的内容。

为了确保不会再次遇到此问题,你需要执行以下操作之一,具体取决于站点的平台:

在HTACCESS中创建完整的重定向模式(在Apache/CPanel服务器上);

使用WordPress中的重定向插件强制从 http://重定向。

4、如何在Apache/Cpanel服务器的htaccess中创建重定向

你可以在Apache/CPanel服务器的.htaccess中执行服务器级别的全局重定向。Inmotionhosting有一个很好的教程,教你如何在自己的web主机上强制重定向。

如果强制所有web流量使用HTTPS,你需要用到以下代码。

确保将此代码添加到具有类似前缀的代码之上(RewriteEngine On、RewriteCond等)。

RewriteEngine On

RewriteCond %{HTTPS} !on

RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$

RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

如果你只想重定向一个指定的域,你需要在你的htaccess文件中使用以下代码行:

RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$

RewriteEngine On

RewriteCond %{HTTP_HOST} ^example\.com [NC]

RewriteCond %{SERVER_PORT} 80

RewriteRule ^(.*)$ https://www.example.com/$1 [R=301,L]

注意事项:如果你对自己在服务器进行正确更改没有信心,请确保你的服务器公司或IT人员来执行这些修复。

5、如果你正在运行WordPress网站,请使用插件

修复这些重定向问题简单的方法就是使用插件,尤其是在运行WordPress网站时。

许多插件可以强制 http://到 https://重定向,但这里有一些插件可以使这个过程尽可能轻松:CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。

关于插件的注意事项:如果你已经使用了太多的插件,请不要再添加。

你可能需要调查你的服务器是否可以使用上述类似的重定向规则(例如,如果你使用的是基于NGINX的服务器)。

这里需要声明:插件的权重会对网站速度产生负面影响,所以不要总是认为新的插件会对你有所帮助。

6、所有的网站链接都应该从HTTP://改为HTTPS://

即使执行上述重定向,也应该执行此步骤。

如果你使用绝对URL而不是相对URL,更应该这么做。因为前者始终显示你正在使用的超文本传输协议,如果你使用的是后者,那你就不需要多加注意这一点了。

当你使用绝对URL时,为什么需要更改现场链接?因为谷歌将抓取所有这些链接,这可能会导致出现重复的内容。

这似乎是在浪费时间,但事实并非如此。你要确保最终谷歌能够准确地抓取到你的网站。

7、确保从HTTP://到HTTPS://的转换,不会出现404页面

404页面的突然增加可能使你的网站不能运行,尤其是在http://和https://页面之间存在链接时。

此外,由于显示的404页面太多,谷歌没有找到应该抓取的页面会导致抓取预算的浪费。

谷歌的相关负责人John Mueller指出,抓取预算并不重要,除非是针对大型网站而言。

John Mueller在推特上表示,他认为抓取预算优化被高估了。对大多数网站来说,没有什么作用,它只能帮助大规模的网站。

“IMO抓取预算被高估了。其实大多数网站都不需要为此担心。如果你正在抓取网页或运行一个数十亿URL 的网站,这是很重要的,但对于普通的网站来说这不是很重要。”

SEO PowerSuite 相关负责人Yauhen Khutarniuk的一篇文章也阐述了这一点:

“从逻辑上讲,你应该关注抓取预算,因为你想让谷歌尽可能多地发现你网站的重要网页。你还希望它能快速地在你的网站上找到新内容,你的抓取预算越大(管理越智能),这种情况就会发生得越快。”

优化抓取预算非常重要,因为快速查找网站上的新内容是重要的任务,同时需要尽可能多地发现网站的优先网页。

8、如何修复可能有的404页面

首先,将404从旧URL重定向到新的现有URL。

有一个比较简单的方法是,如果你有一个WordPress网站,用Screaming Frog抓取网站,并使用重定向WordPress插件执行301重定向规则批量上传。

9、URL结构不应该过于复杂

在为技术SEO做准备时,URL的结构是一个重要的考虑因素。

你同时须注意这些事情,比如随机生成被索引的动态参数、不容易理解的URL,以及其他可能导致技术SEO实现出现问题的因素。

这些都是重要的因素,因为它们可能会导致索引问题,从而损害网站的性能。

10、更人性化的URL

创建URL时,你可能会考虑相关内容,然后自动创建URL。但是,这可能并不合理。

原因是因为自动生成的URL可以遵循几种不同的格式,这些格式都不是非常人性化。


例如:

(1)/内容/日期/时间/关键字

(2)/内容/日期/时间/数字字符串

(3)/内容/分类/日期/时间/

(4)/内容/分类/日期/时间/参数/

正确地传达URL背后的内容才是重点。由于可访问性的原因,它在今天变得更加重要。

URL可读性越强,效果就越好:如果有人在搜索结果中看到你的URL,他们可能更愿意点击它,因为他们会确切地看到该URL与他们搜索的内容的相关性。简而言之,URL需匹配用户的搜索意图。

许多现有网站使用过时或混乱的URL结构,导致用户参与度低。如果有更人性化的URL,你的网站可能会有更高的用户参与度。

11、重复的URL

在构建任何链接之前需要考虑的一个SEO技术问题是:内容重复。

在涉及内容重复时,以下是主要原因:

(1)在网站的各个部分显著重复的内容。

(2)从其他网站抓取内容。

(3)重复的URL,其中只存在一个内容。

因为当多个URL代表一个内容时,它确实会混淆搜索引擎。搜索引擎很少会同时显示相同的内容,并且重复的URL会削弱他们搜索的能力。

12、避免使用动态参数

虽然动态参数本身并不是SEO方面的问题,但如果你无法管理其创建,并且在使用中保持一致,那么以后可能会成为一个潜在威胁。

Jes Scholz在搜索引擎杂志上发表了一篇文章,内容涉及动态参数和URL处理的基础知识以及它如何影响SEO。

Scholz解释说,参数用于以下目的:跟踪、重新排序、过滤、识别、分页、搜索、翻译。

当你发现是URL的动态参数导致的问题时,通常将其归结为URL的基本管理不善。

在跟踪的情况下,在创建搜索引擎抓取的链接时可以使用不同的动态参数。在重新排序的情况下,使用这些不同的动态参数对列表和项组进行重新排序,然后创建可索引的重复页面,搜索引擎再对其进行抓取。

如果不将动态参数保持在可管理的水平,可能会无意中引发过多的重复内容。

如果不仔细管理一部分内容的创建,这些动态URL的创建实际上会随着时间的推移而累积,然后会稀释内容的质量,进而削弱搜索引擎的执行能力。

它还会导致关键词“自相残杀”、互为影响,并且在足够大的范围内会严重影响你的竞争能力。

13、较短的 URL 优于较长的 URL

长期以来的SEO实践结果是:较短的URL优于较长的URL。

谷歌的 John Mueller对此表示:“当我们有两个相同内容的URL时,我们需要选择其中一个在搜索结果中显示时,我们会选择短的,这就是规范化。当然长短并不是主要影响因素,但如果我们有两个URL,一个非常简洁明了,另一个有很长的附加参数,而且他们显示相同的内容时,我们更倾向于选择短的。还有很多例子,比如不同的因素发挥作用,但在其他条件相同的情况下——你有一个较短的和较长的,我们也会选择较短的。”
另有证据表明,谷歌对短的URL进行了具体的排序,而不是更长的URL。

如果你的网站包含超长URL,你可以将它们优化为更短、更简洁的URL,以更好地反映文章的主题和用户意图。
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表