A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

基本环境
  • elasticsearch版本:6.3.1
  • 客户端环境:kibana 6.3.4、Java8应用程序模块。
    其中kibana主要用于数据查询诊断和查阅日志,Java8为主要的客户端,数据插入和查询都是由Java实现的。
案例介绍
使用elasticsearch存储订单的主要信息,document内的field,基本上是long或keyword,创建索引的order.json文件如下:
{  "doc": {    "properties": {      "id": {        "type": "keyword",        "index": true      },      "status": {        "type": "byte",        "index": true      },      "createTime": {        "type": "long",        "index": true      },      "uid": {        "type": "long",        "index": true      },      "payment": {        "type": "keyword",        "index": true      },      "commentStatus": {        "type": "byte",        "index": true      },      "refundStatus": {        "type": "byte",        "index": true      }    }  }}
某天发现有个查询功能(单独使用payment字段查询)没有数据出来,最近未修改此部分代码。对比研发环境,研发环境是正常的,同样的代码在测试环境下无数据返回。
问题定位
  • 程序中使用该字段用的是termQuery,如下:
QueryBuilders.termQuery("payment", req.getFilter().getOrder().getPayment())
在kibana上用命令诊断查询数据,同样没有结果返回,查询命令如下:
GET /order/doc/_search{  "query": {    "bool": {      "must": [        {"term": {          "payment": "Alipay"        }}      ]    }  }}
  • 查询mapping信息,看是否为keyword:
GET /order/_mapping/doc
响应返回(只展示payment字段):
{  "order": {    "mappings": {      "doc": {        "properties": {          "payment": {            "type": "text",            "fields": {              "keyword": {                "type": "keyword",                "ignore_above": 256              }            }          }        }      }    }  }}问题原因
按照mapping返回结果来看,字段payment原定义的类型是keyword,现在变成text了,这个是payment字段使用termQuery查询导致没有数据的原因。
text与keyword的区别
keyword对保存的内容不分词,也不改变大小写,原样存储,默认可索引。
text对内容进行分词,并且全部小写存储,同时会增加一个text.keyword字段,为keyword类型,超过256字符后不索引。
由于payment字段变成text了,原有的程序使用term查询,用的"Alipay",而text存储的是"alipay",所以查不到数据了。
尝试排错方法
  • payment的值改成小写
GET /order/doc/_search{  "query": {    "bool": {      "must": [        {"term": {          "payment": "alipay"        }}      ]    }  }}
  • 或将term查询改成match查询
GET /order/doc/_search{  "query": {    "bool": {      "must": [        {            "match": {              "payment": "alipay"            }        }      ]    }  }}
查询有数据输出,并且符合预期,尝试方法有效。
问题追溯
明明order.json的对payment字段定义的类型是keyword,怎么变成text了?
由于出现此问题的环境是测试环境,有重删索引数据,然后再全部导入的操作(有点不规范,但仅限于测试环境,生产环境不会这么做),重新导入索引document数据的功能,es创建索引自动mapping时,payment字段的string内容,会变成text。
解决办法:
1.删除索引
DELETE /order
2.按照order.json重建索引
PUT /order{    "mappings": {        "doc": {            "properties": {              "id": {                "type": "keyword",                "index": true              },              "status": {                "type": "byte",                "index": true              },              "createTime": {                "type": "long",                "index": true              },              "uid": {                "type": "long",                "index": true              },              "payment": {                "type": "keyword",                "index": true              },              "commentStatus": {                "type": "byte",                "index": true              },              "refundStatus": {                "type": "byte",                "index": true              }            }        }    }}
3.触发程序灌数据(也可以用bulk)
小结
问题虽小,但一定要追溯源头,比如此次测试环境的不规范操作。后期如果有删除索引的操作,应该先手动建立索引后,再灌数据,而不是直接让其自动mapping建立索引,自动mapping建立的字段类型,可能不是我们期望的。

2 个回复

倒序浏览
有任何问题欢迎在评论区留言
回复 使用道具 举报
或者添加学姐微信
DKA-2018
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马