BAT 面试 Elasticsearch 必会知识点总结

JAVA herman 324浏览
公告:“业余草”微信公众号提供免费CSDN下载服务(只下Java资源),关注业余草微信公众号,添加作者微信:xttblog,发送下载链接帮助你免费下载!
本博客日IP超过1800,PV 2600 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:xttblog,之前的微信号好友位已满,备注:返现
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
视频教程免费领

Elasticsearch 是上市公司 Elastic 开源的一个产品。而 Elasticsearch 支撑了整个 Elastic 公司的大约 50 亿美元的市值,这个市值超过大多数 A 股公司。这足以说明了 Elasticsearch 的商业价值和在整个互联网中的重要性。

对国内公司来说,Elasticsearch 基本上是主流公司的必用技术。目前,已知的是 BAT、滴滴、头条、美团等都有使用,所以如果你想去这些公司,Elasticsearch 是一道你必须要跨越的坎!

最近刚好群里有人在讨论 Elasticsearch,为了便于交流,我这里给没有基础,或者已有基础的 ES 使用者总结了一些知识点,大家一起精进!

Elasticsearch 面试知识点总结

整个知识点,可以用上面的这张图来总结。下面我针对部分知识点做一些白话解读,全是我一家之言,不妥之处,请加我微信:xttblog,帮我指正!

Near Realtime(NRT)

NRT 代表近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概 1 秒);基于 es 执行搜索和分析可以达到秒级。这个特点很重要,举个例子,电商系统中,新上架一个商品,这个商品能立马被搜索到。下架一个商品,将立马不会显示在搜索中。和 Hadoop 相比,这一个优点非常的明显。

集群(Cluster)

集群,Cluster,包含多个节点,每个节点属于哪个集群是通过一个配置(集群名称,默认是 elasticsearch)来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常。elasticsearch 的集群搭建简单并且容易扩展。

节点(Node)

集群中的每一个节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作的时候),默认节点会去加入一个名称为“elasticsearch”的集群,如果直接启动一堆节点,那么它们会自动组成一个 elasticsearch 集群,当然一个节点也可以组成一个 elasticsearch 集群。

文档(Document)

文档是 es 中的最小数据单元,一个 document 可以是一条客户数据,一条商品分类数据,一条订单数据,通常用 JSON 数据结构表示,每个 index 下的 type 中,都可以去存储多个 document。一个 document 里面有多个 field,每个 field 就是一个数据字段。

ES 中 Document、Index、Type 之间的关系

说白了,你可以把一个 Document 看成是一个类。field 就是类中的属性。

product document {
    "product_id": "1",
    "product_name": "小目标",
    "product_desc": "小目标罐装啤酒",
    "category_id": "2",
    "category_name": "酒类用品"
}

与关系型数据库的对比:

Elasticsearch VS RDBMS

索引(Index)

索引是包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引有一个名称。一个 index 包含很多 document,一个 index 就代表了一类类似的或者相同的 document。比如说建立一个 product index,商品索引,里面可能就存放了所有的商品数据,所有的商品 document。

类型(Type)

每个索引里都可以有一个或多个 type,type 是 index 中的一个逻辑数据分类,一个 type 下的 document,都有相同的 field,比如博客系统,有一个索引,可以定义用户数据 type,博客数据 type,评论数据 type。

比如,商品 type。日化商品 type、电器商品 type、生鲜商品 type。

日化商品 type:product_id,product_name,product_desc,category_id,category_name
电器商品 type:product_id,product_name,product_desc,category_id,category_name,service_period
生鲜商品 type:product_id,product_name,product_desc,category_id,category_name,eat_period

每个商品 type 中可以包括多个 Document。

{
  "product_id": "2",
  "product_name": "小米电视",
  "product_desc": "4k高清",
  "category_id": "3",
  "category_name": "电器",
  "service_period": "1年"
},{
  "product_id": "3",
  "product_name": "小米空调",
  "product_desc": "互联网空调",
  "category_id": "3",
  "category_name": "电器",
  "service_period": "1年"
}

分片(Shard)

单台机器无法存储大量数据,es 可以将一个索引中的数据切分为多个 shard,分布在多台服务器上存储。有了 shard 就可以横向扩展,存储更多数据,让搜索和分析等操作分布到多台服务器上去执行,提升吞吐量和性能。每个 shard 都是一个 lucene index。分片的好处是:允许水平切分/扩展集群容量;可在多个分片上进行分布式的、并行的操作,提高系统的性能和吞吐量。

副本(replica)

任何一个服务器随时可能故障或宕机,此时 shard 可能就会丢失,因此可以为每个 shard 创建多个 replica 副本。replica 可以在 shard 故障时提供备用服务,保证数据不丢失,多个 replica 还可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认 5 个),replica shard(随时修改数量,默认1个),默认每个索引 10 个 shard,5 个 primary shard,5 个 replica shard,最小的高可用配置,是 2 台服务器。

副本主要解决单点问题,提高可用性和容错性: 某个节点失败时服务不受影响, 可以从副本中恢复;提高查询效率和查询时的吞吐量: 搜索可以在所有的副本上并行执行,提高了服务的并发量。主分片和副本分片不能存储在同一个节点中,因为这样做无法保证高可用。

数据源(river)

从其他存储方式 (如数据库) 中同步数据到ES的方法, 它是以插件方式存在的一个 ES 服务, 通过读取 river 中的数据并把它索引到 ES 中。官方的 river 有 CouchDB、RabbitMQ 等。

映射(mapping)

类似于关系数据库中的 Table 结构,每个 index 都有一个映射: 定义索引中每个字段的类型。所有文档在写进索引之前都会先进行分析,如何对文本进行分词、哪些词条又会被过滤,这类行为叫做映射(mapping)。映射可以提前定义,也可以在第一次存储文档时自动识别,一般由用户自己定义规则。类似于 Solr 中 schema.xml 约束文件的作用。

字段(field)

字段可以是一个简单的值(如字符串、数字、日期), 也可以是一个数组,还可以嵌套一个对象或多个对象。字段类似于关系数据库中表数据的列,每个字段都对应一个类型。可以指定如何分析某一字段的值,即对 field 指定分词器。

分词(analysis)

analysis 是将文本转换为索引词的过程,分析的结果依赖于分词器。

比如: 公众号 业余草、公众号-业余草和业余草 公众号可能会被分析成相同的索引词 业余草和公众号,然后被存储到 ES 的索引库中。当通过业余草进行全文搜索的时候,搜索引擎根据匹配计算也能在索引库中查找到相关的内容。

索引词(term)

在 ES 中,索引词(term)是一个能够被索引的精确值,可以通过 term query 进行准确搜索。比如: 业余草、xttblog、公众号都是不同的索引词。

文本(text)

文本是一段普通的非结构化文字,通长文本会被分析成多个 Term,存储在 ES 的索引库中。文本字段一般需要先分析再存储,查询文本中的关键词时,需要根据搜索条件搜索出原文本。

数据恢复(recovery)

数据恢复又叫数据重新分布。当有节点加入或退出时,ES 会根据机器的负载对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。Kibana 工具中通过 GET _cat/health?v,就可以看到集群所处的状态。

时间关系,Elasticsearch 相关的各种核心概念和知识我就先总结到这里。后面有机会,我再总结一些 Elasticsearch 的使用场景,网关,Lucene,服务发现,支持的脚本,插件等模块做一些总结。

以上这些希望能够帮助到每一个人,一起精进!

业余草公众号

最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加QQ1群:135430763(2000人群已满),QQ2群:454796847(已满),QQ3群:187424846(已满)。QQ群进群密码:xttblog,想加微信群的朋友,之前的微信号好友已满,请加博主新的微信号:xttblog,备注:“xttblog”,添加博主微信拉你进群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作可添加助理微信进行沟通!

本文原文出处:业余草: » BAT 面试 Elasticsearch 必会知识点总结