浅谈：改进抓取和索引的技巧

一旦网站上线或者是超过某个年龄之后，大部分网站管理都会忽视抓取预算，通常都是过段时间后，才会去注意网站，而这时你的网站已经失去关键的排名，已经在一百名之外。为什么会这样?可能是由于那你网站的技术结构，精简内容或新算法更改导致的，又或者是由一个非常有问题的抓取错误引起的，为了避免这种情况的发展，作为seo优化的站长你需要优化抓取预算以保持竞争力。

1、用Google Search Console跟踪抓取状态

网站抓取状态中的错误可能是由于您的网站上存在更深层次的问题，所以天津网站建设 建议您最好每30-60天检查一次抓取状态，这对于识别影响您网站整体营销效果的潜在错误非常重要，这是seo优化的第一步，也是最关键的一步，没有它，所有其他努力都是白费。现在，如果要删除对某个网页的访问权限，可以直接告诉Search Console，若页面被临时重定向或出现404错误，这非常有用。

2、创建适合移动设备的网页

随着移动优先索引的到来，我们还必须优化我们的页面在移动索引上显示移动友好副本。好消息是，如果不存在适合移动设备的副本，桌面副本仍将被编入索引并显示在移动索引下，坏消息是你的排名可能会受到影响。目前，有许多技术调整可以立即使您的网站更加适合移动设备，包括：实施响应式网页设计;在内容中插入视点元标记;缩小页面上的资源(CSS和JS);使用AMP缓存标记页面;优化和压缩图像以加快加载速度;减少页面UI元素的大小。

小提示：务必在移动平台上测试您的网站，然后通过Google Pagespeed Insights运行它，因为页面速度是一个重要的排名因素，很可能会对搜索引擎抓取您网站的速度造成影响。

3、定期更新内容

若你定期的给您的网站填充新的高质量的原创内容，那么搜索引擎就会定期的去抓取您的网站，这对于需要定期发布和编制索引的新故事的发布商尤其有用。定期生成内容会向搜索引擎发出信号，表明您的网站不断改进并发布新内容，因此需要更频繁地抓取这些内容以覆盖目标受众。

4、将站点地图提交给每个搜索引擎

截止到目前，索引的最佳提升之一依然是向Google Search Console和Bing网站站长工具提交站点地图，而您可以使用站点地图生成器创建XML版本，也可以通过标记包含重复内容的每个页面的规范版本在Google Search Console中手动创建一个XML版本。

5、与隔离网页的深层链接

若你的站点或子域上的网页是独立创建的，或存在阻止对其进行爬网的错误，则可以通过获得外部域上的链接来将其编入索引，这是一种非常有用的策略，用于在您的网站上宣传新内容并使其更快地编入索引。但一定要谨防联合内容以实现此目的，因为搜索引擎可能会忽略联合页面，如果没有正确规范化，它可能会产生重复错误。

6、缩小页面资源并增加加载时间

强制搜索引擎抓取大量未经优化的图片不仅会占用您的抓取预算，并且还会阻止您的网站经常被编入索引，更主要的是搜索引擎也难以抓取您网站的某些后端元素。例如，谷歌历史上一直在努力抓取Javascript，即便像Flash和CSS这样的某些资源也可能在移动设备上表现不佳，并且会占用您的抓取预算。因此从某种意义上说，这是一个双输的场景，其中页面速度和爬行预算被牺牲用于突出的页面元素。

小提示：务必通过缩小页面上的资源来优化您的网页，以提高速度，尤其是在移动设备上，您还可以启用缓存和压缩，以帮助蜘蛛更快地抓取您的网站。

7、使用Noindex标签修复页面

在网站开发过程中，在可能重复或仅针对采取某种操作的用户的页面上实现noindex标记可能是有意义的。无论如何，您可以使用免费的在线工具识别带有noindex标签的网页，这些网页可以防止它们被抓取。WordPress的Yoast插件允许您轻松地将页面从索引切换到无索引，您也可以在网站页面的后端手动执行此操作。

8、消除重复内容

一旦网站中存在大量重复的内容，很可能会降低抓取速度并降低抓取预算，这是作为优化站长你可以通过阻止这些页面被编入索引，或者是在你希望编入索引的页面上放置规范标记来消除这些问题。同样，优化每个页面的元标记，防止搜索引擎将类似页面误认为其爬网中的重复内容。

9、阻止您不希望蜘蛛抓取的页面

在优化的过程中你可能希望阻止搜索引擎抓取特定页面的情况，想实现这个目的，可通过如下方式：放置一个noindex标签，将URL放在robots.txt文件中，完全删除页面，这将能帮助您的抓取更有效地运行，而并非时强制搜索引擎倾注重复的内容。

结论 ：若在优化的过程中，你已经遵循了seo最佳实践，这样的话或许您无需担心爬行状态。但是，在Google Search Console中检查您的抓取状态并进行定期内部链接审核这也并非时一件容易的事情，虽然不容易，但是作为seo优化的站长也必须要迎难而上。

原文地址：http://www.wenshuai.cn/home/article/detail/id/1296.html