随着企业对近实时搜索的迫切需求，Elasticsearch 受到越来越多的关注，无论是阿里、腾讯、京东等互联网企业，还是平安、顺丰等传统企业都对 Elasticsearch 有广泛的使用，但是在 Elasticsearch 6.8 发布以前，大部分 Elasticsearch 功能都是付费的，开源版本的 Elasticsearch 在集群管控方面能力有限，鉴于此，通用的实施方案就是给 Elasticsearch 添加一层网关，从而实现对 Elasticsearch 的管控。

1、elasticsearch 了解多少，说说你们公司 es 的集群架构，索引数据大小，分片有多少，以及一些调优手段 。

集群

• 在一个ES集群中，通过多个ES实例组成，其中有一个为主节点（master）
• ES是去中心化的，所以主节点是动态选举出来的，不是单点故障
• 你与任何一个节点通信和与整个ES集群通信结果是一样的
• 节点通信
  • 在同一个子网中，只需要在每个节点上设置相同的集群名，ES就自动把这些几圈名相同的节点组成一个集群
  • 节点与节点间通信以及节点之间的数据分配和平衡完全由ES自动管理
  • 一个ES集群建议数量不要超过100个节点

Elasticsearch 7.x

ES 7.x介绍

ES 7.0 是 2019 年 4 月份发布的，底层是 Lucene 8.0。其他还有需要了解的是

• 废除单个索引下多 Type 的支持
• ES Security 免费使用
• ECK - ES Operator on K8s
• 新功能：New Cluster coordination
• 新功能：完整的 High Level REST Client
• 新功能：Script Score Query
• 性能：默认 Primary Shard 数从 5 到 1 ，避免 Over Sharding；性能优化更快的 Top K

倒排索引

倒排索引创建过程

• 搜索引擎中存储的是倒排索引，就是分好的词，和词语文章的关联
• 事先把文章使用分词打散，以词为依据，标记清楚对应的文章的编号
• 查询时
  • 把查询的语句也进行分词，然后根据分词，找到那些文章中包含了这些词

Elasticsearch数据库功能与特点

ES应用特点

• ES主要致力于结构化和非结构化数据的分布式实时全文搜索及分析，使用场景
• 日志管理与分析（ELK）
• 系统指标分析
• 安全分析
• 企业搜索（OA、CRM、ERP）
• 网站搜索（电商、招聘、门户）
• 应用搜索
• 应用性能管理APM

ES主要功能

• 分布式实时文件存储，处理的结构化和非结构数据
• 实时分析的分布式搜索引擎，为用户提供关键字查询的全文检索功能
• 是实现企业级PB级海量数据处理分析的大数据解决方案（ELK）

ES复杂类型

背景说明

https://blog.csdn.net/laoyang360/article/details/82950393

• 问题背景
  • 在elasticsearch中，我们可以将密切相关的实体存储在单个文档中。
  • 例如，我们可以通过传递一系列评论来存储博客文章及其所有评论。
• 如下，有一个文章，和这个文章相关的所有评论
• 现在假设我们想查找用户{name：john，age：34}评论过的所有博客帖子

安装连接

python ES客户端：https://elasticsearch-py.readthedocs.io/

elasticsearch官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.10/nested.html

mapping映射

• 前面已经安装了ik中文分词器,这里就不介绍怎么安装了
• ik_max_word: 会将文本做最细粒度的拆分
• ik_smart: 会做最粗粒度的拆分

映射是什么

• 映射：指定字段类型，将时间域视为时间，数字域视为数字，字符串域视为全文或精确值字符串
• Elasticsearch 支持如下简单域类型：
  • 字符串: text string(高版本废弃)
  • 整数 : byte, short, integer, long
  • 浮点数: float, double
  • 布尔型: boolean
  • 日期: date

基本测试

测试分词功能

http://192.168.56.66:5601

GET /*          ## 获取所有数据

DELETE /*        ## 删除所有数据

GET /_analyze     ## 测试分词
{
  "analyzer": "ik_max_word",
  "text": "2001A第一帅是谁？"
}

介绍

ES功能

• 分布式的搜索引擎和数据分析引擎
• 数据分析：电商网站，最近7天牙膏销量排行前十商家（举例）；
• 全文检索，结构化检索，数据分析
• 全文检索：我想搜索商品名称包含牙膏的商品，select * from products where product_name like “%牙膏%”
• 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from products where category_id=’日化用品’
• 部分匹配、自动完成、搜索纠错、搜索推荐
• 数据分析：我们分析每一个商品分类下有多少个商品，select category_id,count(*) from products group by category_id
• 对海量数据进行实时的处理