早在1996年,两位斯坦福大学的博士就提出了一种新型搜索引擎的理论。拉里·佩奇(Larry Page)和谢尔盖·布林(Sergey Brin)认为,与其根据关键词在网页上出现的次数对结果进行排名,不如根据页面之间的关系对结果进行排名。他们称自己的想法为“BackRub”,因为它对搜索结果进行了排名基于反向链接

这与今天的搜索引擎的工作方式有很大的不同。佩奇和布林的搜索引擎谷歌接收到每天55亿的搜索量。或者说每秒63,000次搜索。对于每一个这样的查询,搜索引擎都要进行大量的搜索130万亿页并在不到一秒的时间内选择结果。

在这些结果背后是很多人的基础。虽然谷歌 - 和其他搜索引擎 - 令人难以置信的是关于搜索结果背后的机制,营销人员受益于如何知道搜索引擎的工作。了解搜索引擎如何找到,组织,选择结果意味着您可以更好地优化您的网页以排名。

搜索引擎的基本原理

一个“搜索引擎”是几个相互关联的机制,它们协同工作,根据你在搜索栏中键入的单词来识别网页内容的片段——图像、视频、网站页面等等。网站所有者使用搜索引擎优化以提高网站内容出现在搜索结果中的几率。

搜索引擎使用三种基本机制:

  • 网络爬虫程序:不断浏览网页寻找新页面的机器人。爬虫收集正确建立页面索引所需的信息,并使用超链接跳转到其他页面并建立它们的索引。
  • 搜索索引:所有在线网页的记录,以允许关键词和页面内容之间关联的方式进行组织。搜索引擎也有办法对索引内容的质量进行分级。
  • 搜索算法:计算网页质量的等级,计算出该网页与搜索词的相关度,并根据质量和受欢迎程度确定结果的排名。

搜索引擎试图为每个用户提供最有用的结果,以保持大量用户的回访。这在商业上是有意义的,因为大多数搜索引擎都是通过广告赚钱的。谷歌让人印象深刻在2018年116美元为例。

搜索引擎如何抓取、索引和排名内容

搜索引擎从外表上看很简单。输入一个关键字,就会得到一个相关页面的列表。但这种看似简单的交换需要后台大量繁重的计算工作。

艰苦的工作在你开始寻找之前就已经开始了。搜索引擎夜以继日地工作,从世界各地的网站上收集信息并组织起来,所以很容易找到。这是一个三步的过程爬行网页、索引他们,然后排名他们有搜索算法。

爬行

搜索引擎依靠爬虫程序——自动脚本——来搜索网络上的信息。爬虫开始与一个网站的列表。算法-计算规则集-自动决定这些网站中的哪一个去爬行。算法还规定了要抓取多少页面以及抓取的频率。

爬虫程序系统地访问列表上的每个站点,通过像HREF和SRC这样的标签跟踪链接,跳转到内部或外部页面。随着时间的推移,爬虫程序构建了一个不断扩展的链接页面地图。

外卖的营销人员

请确保爬虫程序可以很容易地访问您的站点。如果机器人不能抓取它,他们就不能索引它,这意味着你的站点不会出现在搜索结果中。你可以帮助保证爬虫可访问性实现以下:

  • 逻辑站点层次结构:定义从域到类别再到子类别的逻辑站点架构。这使得爬行器可以更快地通过您的站点,允许站点停留在其内部爬的预算
  • 链接:每页使用内页。爬虫需要链接在页面之间移动。没有任何链接的页面是不可爬行的,因此不可索引。
  • XML站点地图:列出你网站的所有页面,包括博客文章。该列表充当爬虫程序的指导手册,告诉它们要爬行哪些页面。有一些插件和工具——比如Yoast和谷歌XML站点地图——可以在发布新内容时生成并更新站点地图。

如果您不确定您的站点是否可以被爬虫程序访问,请查看我们的现场审计工具。该工具捕获可访问性问题,并提供如何修复这些问题的建议。它还会每两周为你的站点发送一份新的技术SEO报告,这样你就可以在爬虫程序中保持站点的可视性。

提高履带可访问性

Alexa的网站审计工具识别页面没有链接,让您提高爬虫的可访问性。

索引

在找到一个页面后,机器人获取(或呈现)它的方式与您的浏览器类似。这意味着机器人应该“看到”您看到的内容,包括图像、视频或其他类型的动态页面内容。

机器人将这些内容分类,包括图像、CSS和HTML、文本和关键字等。这个过程允许爬虫程序“理解”页面上的内容,这是决定页面与哪个关键字搜索相关的必要前提。

然后,搜索引擎将这些信息存储在一个索引中,这是一个巨大的数据库,为每个被索引的网页上看到的每个单词都有一个目录条目。谷歌的索引咖啡因指数它占据了大约1亿千兆字节的空间,并充满了“服务器群”,即全球数千台从未关闭的计算机。

外卖的营销人员

确保爬虫“看到”你的网站,你希望他们怎样;控制站点的哪些部分允许他们建立索引。

  • 网址检查工具:如果你想知道什么爬虫看到当他们降落在你的网站,使用网址检查工具。您还可以使用该工具来找出为什么爬行程序没有索引页面或请求谷歌爬行它。
  • robots.txt.:您不会想要爬网关显示SERPS的所有页面;例如,作者页面或分页页面可以从索引中排除。使用robots.txt文件来通过讲述它们可以爬行的页面来控制访问。

阻止爬虫从你的网站的某些工作区域不会影响你的搜索排名。相反,它将帮助爬虫集中在最重要的页面上的爬行预算。

排名

在最后一步中,搜索引擎对索引信息进行排序,并为每个查询返回正确的结果。他们用搜索算法规则,分析搜索者在寻找什么以及哪个结果最适合回答查询。

算法使用许多因素来定义其索引中的页面质量。谷歌是杠杆a整个系列对相关结果进行排序。这些算法中使用的许多排名因素分析的是一篇内容的普遍受欢迎程度,甚至是用户登陆页面时的定性体验。这些因素包括:

  • 反向链接的质量
  • Mobile-friendliness
  • “新鲜度”,即内容最近更新的程度
  • 订婚
  • 页面速度
  • 为了确保算法正常工作,谷歌使用了人工搜索质量评级机构测试和改进算法。这是为数不多的由人类而非程序参与搜索引擎工作的情况之一。

外卖的营销人员

搜索引擎希望显示最相关、最实用的结果。这让搜索者很开心,广告收入滚滚而来。这就是为什么大多数搜索引擎的排名因素实际上与人类搜索者判断内容的因素相同,比如页面速度、新鲜度和其他有用内容的链接。

当设计和刷新网站,优化页面速度,可读性,和关键字密度向搜索引擎发送积极的排名信号。提高用户粘性指标(如页面停留时间和跳出率)也有助于提升排名。

在设计和刷新网站时,优化页面速度、可读性和关键字密度,向搜索引擎发送积极的排名信号。点击微博

了解更多关于如何在谷歌排名。

执行搜索时会发生什么?

现在我们知道了搜索引擎用来返回相关结果的三个步骤。爬行、索引和排名允许搜索引擎查找和组织信息。但这如何帮助他们回答你的搜索查询呢?

让我们从你在搜索栏中输入一个词的那一刻起,一步一步地介绍搜索引擎是如何回答查询的。

步骤1:搜索引擎解析意图

要返回相关的结果,搜索引擎必须“理解”搜索意图背后的一个术语。它们使用复杂的语言模型来实现这一点,将查询分解为关键字块并解析含义。

例如,谷歌的同义词系统允许搜索引擎识别什么时候一组单词表示同一件事。因此,当你输入“深色连衣裙”时,搜索引擎会返回黑色连衣裙和深色色调的搜索结果。引擎知道黑色通常是黑色的同义词。

使用谷歌的同义词系统理解搜索意图

搜索“深色衣服”的结果也会出现相同的结果。

搜索引擎也使用关键词来理解搜索意图的宽泛“类别”。在“深色连衣裙”的例子中,术语“购买”向搜索引擎发出信号,它应该拉出产品页面,以匹配购物搜索者的意图。

找出如何优化语义搜索。

搜索结果也使用“新鲜度”算法来理解搜索者的意图。这些算法识别趋势关键词并返回更新的页面。您将看到“选举结果”等术语,它们在选举期间和非选举期间返回截然不同的SERP结果。

第二步:搜索引擎匹配页面以查询意图

一旦搜索引擎了解了您想要看到的结果,它就需要找到匹配的页面。一系列因素帮助搜索引擎决定哪些页面是最好的,包括:

  • 标题/内容相关性
  • 内容的类型
  • 内容质量
  • 网站质量和新鲜度
  • 页面人气
  • 查询语言

因此,如果你搜索“最佳吃寿司的地方”,搜索引擎会在标题和正文内容中匹配“寿司”或同义词(如“日本食物”)。他们会根据受欢迎程度、新鲜度和质量因素对结果进行排序。

根据搜索意图,搜索引擎还可能显示丰富的结果,如知识图谱或图像转盘。

第三步:搜索引擎应用“本地化”因素

当搜索引擎决定你看到的结果时,有许多个人因素在起作用。由于个人因素的综合作用,你可能会看到“最佳冷冻奶酪披萨”的结果与居住在另一个州的朋友不同。

  • 位置一些搜索,比如“我附近的餐馆”,显然是与位置有关的。但谷歌会根据本地因素对搜索结果进行排名,即使是非特定位置搜索。如果搜索“football”,匹兹堡的人可能会看到钢人队的页面,旧金山的人可能会看到49人队的页面。
  • 搜索设置:搜索设置也是一个重要的指标,你可能会发现哪些结果是有用的,比如你是否设置了首选语言或选择进入(一个帮助过滤显式结果的工具)。
  • 搜索历史记录:用户的搜索历史也会影响他们看到的结果。例如,搜索“海明威”,你会看到作者和编辑应用程序的结果。点击一些关于作者的结果,然后再次搜索“海明威”。这一次,您将看到更多关于writer的结果,而不是应用程序。

外卖的营销人员

搜索结果是高度特定和动态的。要预测你的网站何时以及如何出现在每个搜索者面前是不可能的。最好的方法是通过向搜索引擎发送强相关性信号关键字研究技术SEO和内容策略。这样,您将在与您的内容真正相关的serp中显示。

相关:如何获得谷歌新闻来源的批准

利用这些知识来提高结果

一旦你了解了搜索引擎的工作原理,创建可爬行和可索引的网站就更容易了。向搜索引擎发送正确的信号可以保证你的页面出现在与你的业务相关的结果页面上。为搜索者和搜索引擎提供他们想要的内容是通向成功在线业务的一步。

注册Alexa先进计划的免费试用得到现场审计工具您需要确保您的内容处于爬虫程序良好的状态。此外,您还可以访问全面的报告,这些报告确定了您可能错过的技术和页面优化机会。

谷歌和谷歌标志是谷歌有限责任公司的注册商标,经许可使用。