黑马程序员技术交流社区

标题: 【ES学习分享】 [打印本页]

作者: Cloudychen 时间: 2019-9-27 19:24
标题: 【ES学习分享】
ES学习分享一、ES是什么

Elasticsearch是一个基于Apache Lucene的开源搜索引擎，通过简易的API来隐藏Lucene的复杂性。ES的基本结构包括，Cluster集群(由n个节点组成)，Node实例节点，Index索引(一系列documents的集合)，Shard分片(索引的数据是分配到各个分片的)，Replica备份节点(相应有Primay Shard主分片)
ES和RDMS的区别

二、ES不是什么

1、ES不是数据库，不是可靠的数据存储系统。
[Indexing] A network partition can cause in flight documents to be lost

2、ES不是实时系统，数据写入成功只是translog成功，类似mysql的binlog,同理删除数据也不是实时的。其实ES内部有一个后台线程，定时将内存的数据写入到存储引擎中。当然可以写入数据后refresh,但是会重新打开所有索引文件，需要解压和刷缓存等等，性能影响极大

3、ES不是一个强一致性的系统。也就是说同样的query多次查询的数据可能会不一致。由于shard的主分片和副本是由独立的节点去刷新的，刷新的频率并不同步，这样同样的query发送到不同的分片（主片和从片）上看到的数据是不同的，导致的结果是查询到的数据也不完全同步。简单说，ES是一个最终一致性系统

三、Mapping映射

mapping相当于数据库的表结构，决定了ES在建立倒排索引、进行检索时对文档采取的相关策略，如数字类型、日期类型、文件类型等。在写数据前ES不强制要求创建mapping，因为ES有动态识别和创建的机制，但是非常不建议使用ES的动态识别和创建的机制，因为很多情况下这并非你所需要。推荐的做法是在写数据之前仔细的创建mapping

mapping不能更新，存在的字段不能被更新和删除，不存在的字段可以添加

mapping冲突。同一索引不同类型同名字段的映射会冲突 https://www.elastic.co/blog/great-mapping-refactoring#conflicting-mappings

四、Template模板

模板是描述表结构（mapping）和表设置(setting)的数据结构,在ES中创建一个索引模板，其本质就是包含mapping及分片信息，模板中有个属性  template  表示该模板用来匹配什么样的索引。比如"template:timingsoa-*“，创建的所有以timingsoa开头的索引，将会应用这个模板，一般用来匹配按周期创建的索引，例如 timingsoa-20190417
{
  "template": "timingsoa-*",
  "settings": {
"index": {
   "refresh_interval": "1s",
   "number_of_shards": "4",
   "number_of_replicas": "1"
}
  },
  "mappings": {
"timingsoa": {
   "properties": {
      "time": {
      "format": "yyyy-MM-dd HH:mm:ss",
      "type": "date"
      },
      "className": {
      "type": "keyword"
      },
      "methodName": {
      "type": "keyword"
      },
      "invokeNo": {
      "type": "keyword"
      },
      "threadId": {
      "type": "keyword"
      },
      "invokeIp": {
      "type": "keyword"
      },
      "message": {
         "analyzer": "ik_smart",
         "type": "text"
      },
      "lineNumber": {
      "type": "integer"
      },
      "invokeSerialNum": {
      "type": "integer"
      }
   }
}
  }
}

索引存在Linux服务器的文件系统上，背后是文件系统，不是类似HDFS的文件系统
五、Routing路由

rouing就是hash key，这个key决定写入和查询的分片id

六、Alia别名PUT timingsoa
{
"mappings": {
      "timingsoa": {
      "properties": {
         "time": {
            "format": "yyyy-MM-dd HH:mm:ss",
            "type": "date"
         },
         "className": {
            "type": "keyword"
         },
         "methodName": {
            "type": "keyword"
         },
         "invokeNo": {
            "type": "keyword"
         },
         "threadId": {
            "type": "keyword"
         },
         "invokeIp": {
            "type": "keyword"
         },
         "message": {
            "analyzer": "ik_smart",
            "type": "text"
         },
         "lineNumber": {
            "type": "integer"
         },
         "invokeSerialNum": {
            "type": "integer"
         }
         }
      },
   "aliases": {
      "admin_w": {},
      "admin_r": {}
   }
}七、ES集群
1、节点发现

多播方式，也是ES的默认使用方式，但是无法跨网络组建集群。另外一种是单播方式，可以跨网络组建集群

2、主节点选举

所有配置有master:true的节点，根据节点id进行排序，然后取出第一个作为主节点

3、存活检测

有两种错误检测方式，一种是master节点ping集群中所有其他的节点来验证他们是否存活，另一种是每个节点ping master节点来验证它是否存活

4、容灾

ES中的index，首先会进行分片，每一个分片数据一般都会有自己的副本数据，ES分配分片的策略会保证同一个分片数据和自己的副本不会分配到同一个节点上

当集群中的某一节点宕机后，ES的master在ping该节点时通过一定的策略会发现该节点不存活；此时，ES开启恢复过程，恢复的策略如下：
恢复的目标是保证集群中分片的副本数不变

4.1 恢复的目标是保证集群中分片的副本数不变
4.2 如果宕机的节点上承载某分片的主分片，那么此时（恢复过程）会将该分片分配在其他节点上的某一副本提升为主分片（记住：同一分片和其副本总是不在同一节点上，保证有对应的副本可供提升的）
4.3 根据4.1保证副本数不变，如果宕机的节点承载某分片的副本，那么ES会在其他非宕机节点上用主分片复制一个副本
4.4 整个过程不影响集群的读写功能；但是由于多了复制分片和迁移分片的过程，集群的读写性能受影响

5、扩容和缩容

整个过程不影响集群的读写功能，但是由于多了复制分片和迁移分片的过程，集群的读写性能受影响

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2