基本概念

Node 与 Cluster

Elastic 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elastic 实例。单个 Elastic 实例称为一个节点（node）。一组节点构成一个集群（cluster）。

Index

Elastic 会索引所有字段，经过处理后写入一个反向索引（Inverted Index）。查找数据的时候，直接查找该索引。所以，Elastic 数据管理的顶层单位就叫做 Index（索引）。它是单个数据库的同义词。每个 Index （即数据库）的名字必须是小写。

Document

Index 里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index。Document 使用 JSON 格式表示，下面是一个例子:

{
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}

同一个 Index 里面的 Document，不要求有相同的结构（scheme），但是最好保持相同，这样有利于提高搜索效率。

Type

Document 可以分组，比如weather这个 Index 里面，可以按城市分组（北京和上海），也可以按气候分组（晴天和雨天）。这种分组就叫做 Type，它是虚拟的逻辑分组，用来过滤 Document。不同的 Type 应该有相似的结构（schema），举例来说，id字段不能在这个组是字符串，在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据（比如products和logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type（虽然可以做到）。

根据规划，Elastic 6.x 版只允许每个 Index 包含一个 Type，7.x 版将会彻底移除 Type。

分片和复制(Shards & Replicas)

我们在一个索引里存储的数据，潜在的情况下可能会超过单节点硬件的存储限制。因此Elasticsearch提供了分片的能力，它可以将索引细分成多个部分。当创建一个索引的时候，可以简单的定义想要的分片的数量。每个分片本身是一个全功能的完全独立的“索引”，它可以部署在集群中的任何节点上。

分片对于以下两个主要原因很重要：

它允许你水平切分你的内容卷
它允许你通过分片来分布和并行化执行操作来应对日益增长的执行量
一个分片是如何被分配以及文档又是如何被聚集起来以应对搜索请求的，它的实现技术由Elasticsearch完全管理，并且对用户是透明的。

在一个网络环境下或者是云环境下，故障可能会随时发生，有一个故障恢复机制是非常有用并且是高度推荐的，以防一个分片或节点不明原因下线，或者因为一些原因去除没有了。为了达到这个目的，Elasticsearch允许你制作分片的一个或多个拷贝放入一个叫做复制分片或短暂复制品中。

复制对于以下两个主要原因很重要：

高可用。它提供了高可用来以防分片或节点宕机。为此，一个非常重要的注意点是绝对不要将一个分片的拷贝放在跟这个分片相同的机器上。
高并发。它允许你的分片可以提供超出自身吞吐量的搜索服务，搜索行为可以在分片所有的拷贝中并行执行。

总结一下，每个索引可以被切分成多个分片，一个索引可以被复制零次(就是没有复制)或多次。一旦被复制，每个索引将会有一些主分片(就是那些最原始不是被复制出来的分片)，还有一些复制分片(就是那些通过复制主分片得到的分片)。主分片和复制分片的数量可以在索引被创建时指定。索引被创建后，你可以随时动态修改复制分片的数量，但是不能修改主分片的数量。

默认情况下，在Elasticsearch中的每个索引被分配5个主分片和一份拷贝，这意味着假设你的集群中至少有两个节点，你的索引将会有5个主分片和5个复制分片(每个主分片对应一个复制分片，5个复制分片组成一个完整拷贝)，总共每个索引有10个分片。

每个Elasticsearch分片是一个Lucene索引。在一个Lucene索引中有一个文档数量的最大值。截至LUCENE-5843，这个限制是2,147,483,519 (= Integer.MAX_VALUE - 128)个文档。可以使用_cat/shards API监控分片大小。

基本用法

启动

./elasticsearch

curl localhost:9200
{
  "name" : "UJ35DEz",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "9Re_329IRJK3Oyvg9prFug",
  "version" : {
    "number" : "6.4.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "595516e",
    "build_date" : "2018-08-17T23:18:47.308994Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

索引操作

API基本格式：http://:/<索引>/<类型>/<文档id>
常用http动词 GET，POST，PUT，DELETE。
pretty参数时输出格式化

例:curl -X PUT ‘localhost:9200/weather?pretty’
例:curl -X DELETE ‘localhost:9200/weather’
例获取所有索引:curl -X GET ‘http://localhost:9200/_cat/indices?v'

数据操作

插入记录

指定文档id:

api：http://127.0.0.1:9200/book(索引)/test(类型)/1(文档id)
动作：put
实例:

curl -H "Content-Type: application/json" -X PUT 'localhost:9200/accounts/person/1' -d '
{
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}'

Kibana中:

PUT /accounts/person/1
{
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}

系统生成id:

api：http://127.0.0.1:9200/book/test/
动作：post
实例:

curl -X POST 'localhost:9200/accounts/person' -d '
{
  "user": "李四",
  "title": "工程师",
  "desc": "系统管理"
}'

Kibana中:

POST /accounts/person
{
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}

查看记录

$ curl get ‘localhost:9200/accounts/person/1?pretty=true’

上面代码请求查看/accounts/person/1这条记录，URL 的参数pretty=true表示以易读的格式返回。

返回的数据中，found字段表示查询成功，_source字段返回原始记录。

{
  "_index" : "accounts",
  "_type" : "person",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "user" : "张三",
    "title" : "工程师",
    "desc" : "数据库管理"
  }
}

如果 Id 不正确，就查不到数据，found字段就是false。

删除记录

api：http://127.0.0.1:9200/book/test/1
动作：delete

$ curl -X DELETE ‘localhost:9200/accounts/person/1’

更新记录

实例:

$ curl -X PUT 'localhost:9200/accounts/person/1' -d '
{
    "user" : "张三",
    "title" : "工程师",
    "desc" : "数据库管理，软件开发"
}'

{
  "_index":"accounts",
  "_type":"person",
  "_id":"1",
  "_version":2,
  "result":"updated",
  "_shards":{"total":2,"successful":1,"failed":0},
  "created":false
}

上面代码中，将原始数据从”数据库管理”改成”数据库管理，软件开发”。返回结果里面，有几个字段发生了变化。可以看到，记录的 Id 没变，但是版本（version）从1变成2，操作类型（result）从created变成updated，created字段变成false，因为这次不是新建记录。

查询操作

返回所有记录

使用 GET 方法，直接请求/Index/Type/_search，就会返回所有记录。

例: curl ‘localhost:9200/accounts/person/_search’

{
  "took":2,
  "timed_out":false,
  "_shards":{"total":5,"successful":5,"failed":0},
  "hits":{
    "total":2,
    "max_score":1.0,
    "hits":[
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"AV3qGfrC6jMbsbXb6k1p",
        "_score":1.0,
        "_source": {
          "user": "李四",
          "title": "工程师",
          "desc": "系统管理"
        }
      },
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"1",
        "_score":1.0,
        "_source": {
          "user" : "张三",
          "title" : "工程师",
          "desc" : "数据库管理，软件开发"
        }
      }
    ]
  }
}

全文搜索

查询desc字段里面包含”软件”这个词的记录,Elastic 默认一次返回10条结果，可以通过size字段改变这个设置,还可以通过from字段指定位移(（默认是从位置0开始)。

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "from": 1,
  "size": 1
}'

逻辑运算

如果有多个搜索关键字， Elastic 认为它们是or关系。

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "软件 系统" }}
}'

上面代码搜索的是软件 or 系统。如果要执行多个关键词的and搜索，必须使用布尔查询。

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query": {
    "bool": {
      "must": [
        { "match": { "desc": "软件" } },
        { "match": { "desc": "系统" } }
      ]
    }
  }
}'

苍耳的博客

ElasticSearch学习笔记