Elasticsearch实现商品搜索

时间:2021-6-4 作者:qvyue

准备

如果您对Elasticsearch还不了解,您可以先阅读我另外一篇文章看完这篇Elasticsearch还不会,你打我,先对Elasticsearch有一个基础的了解。

一、安装并运行Elasticsearch

在下载之前你应该确保你的 Java 版本保持在 1.8 及以上,这是 Elasticsearch 的硬性要求,可以自行打开命令行输入 java -version 来查看 Java 的版本

安装完 Java,就可以跟着Elasticsearch官网下载地址安装 Elasticsearch,直接下载压缩包比较简单。我的开发环境是Windows,因此我选择的是Windows版本。

Elasticsearch实现商品搜索
选择历史版本

下载压缩包后对其进行解压,进入Elasticsearch的bin目录,D:installelasticsearch-7.12.1bin,双击elasticsearch.bat 启动Elasticsearch

Elasticsearch实现商品搜索
elasticsearch.bat

此时,Elasticsearch运行在本地的9200端口,在浏览器中输入地址http://localhost:9200/如果看到以下信息就说明你的电脑已成功安装Elasticsearch

Elasticsearch实现商品搜索
Elasticsearch安装成功

默认情况下,Elasticsearch 只允许本机访问,如果需要远程访问,可以修改 Elastic 安装目录的config/elasticsearch.yml文件,去掉network.host的注释,将它的值改成0.0.0.0,然后重新启动 Elasticsearch。

network.host: 0.0.0.0

上面代码中,设成0.0.0.0让任何人都可以访问。线上服务不要这样设置,要设成具体的 IP。

二、Elasticsearch可视化操作平台Kibana

Kibana 是一个开源的分析和可视化平台,旨在与 Elasticsearch 合作。Kibana 提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析,并在各种图表、表格和地图中可视化数据。

你可以从 Elasticsearch 的官网下载Kibana,同样Kibana我们也选择下载版本7.12.1。解压文档后,进入kibana的bin目录D:installkibana-7.12.1-windows-x86_64bin,双击kibana.bat启动Kibana。

Elasticsearch实现商品搜索
Kibana下载

kibana启动后运行在5601端口上,我们可以在浏览器中输入http://localhost:5601地址来访问kibana。

注意:启动kibana前必须先启动Elasticsearch,否则kibana会启动不成功。

Elasticsearch实现商品搜索
kibana控制台界面

开发中我们一般用得比较多的是Dev Tools工具

Elasticsearch实现商品搜索
Dev Tools使用

三、Elasticsearch中文分词器-IK分词器

3.1 中文分词

首先我们通过Postman发送GET请求查询分词效果

GET http://localhost:9200/_analyze
{
    "text":"我爱你中国"
}
Elasticsearch实现商品搜索
Postman发送GET请求查询分词效果

得到如下结果,可以发现ES的默认分词器无法识别中文:我、我爱你、中国这样的词汇,而是简单的将每个字拆完分为一个词,这显然不符合我们的使用要求,所以我们需要安装中文分词器来解决这个问题。

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "",
            "position": 0
        },
        {
            "token": "爱",
            "start_offset": 1,
            "end_offset": 2,
            "type": "",
            "position": 1
        },
        {
            "token": "你",
            "start_offset": 2,
            "end_offset": 3,
            "type": "",
            "position": 2
        },
        {
            "token": "中",
            "start_offset": 3,
            "end_offset": 4,
            "type": "",
            "position": 3
        },
        {
            "token": "国",
            "start_offset": 4,
            "end_offset": 5,
            "type": "",
            "position": 4
        }
    ]
}

或用kibana请求得到效果(用kibana的话就不用再写IP地址和端口了)

GET _analyze
{
  "text":"我爱你中国"
}
Elasticsearch实现商品搜索
用kibana请求

IK分词器是一款国人开发的相对简单的中文分词器。首先我们访问 https://github.com/medcl/elasticsearch-analysis-ik/releases 下载与ES对应版本的中文分词器。将解压后的后的文件夹放入ES根目录下的plugins/ik目录下(ik目录要手动创建),重启ES即可使用。

Elasticsearch实现商品搜索
IK下载
Elasticsearch实现商品搜索
ik目录

IK提供了两个分词算法ik_smart和ik_max_word。其中ik_smart为最少切分;ik_max_word为最细粒度划分。

  • ik_max_word:会将文本做最细粒度的拆分,例如「我是程序员」会被拆分为「我、是、程序员、程序、员」。
  • ik_smart:会将文本做最少切分,例如「我是程序员」会被拆分为「我、是、程序员」
GET _analyze
{
  "analyzer":"ik_smart",
  "text":"我爱你中国"
}
Elasticsearch实现商品搜索
我爱你中国
GET _analyze
{
  "analyzer":"ik_smart",
  "text":"我是程序员"
}
Elasticsearch实现商品搜索
我是程序员

四、Spring Data Elasticsearch

4.1 Spring Data Elasticsearch简介

Spring Data Elasticsearch是Spring Data项目下的一个子模块。查看 Spring Data的官网:http://projects.spring.io/spring-data/

Spring Data 是的使命是给各种数据访问提供统一的编程接口,不管是关系型数据库(如MySQL),还是非关系数据库(如Redis),或者类似Elasticsearch这样的索引数据库。从而简化开发人员的代码,提高开发效率。

Elasticsearch实现商品搜索
Spring Data
4.2 Spring Data Elasticsearch注解

Spring Data Elasticsearch通过注解来声明字段的映射属性,有下面的三个注解

@Document

@Document作用在类,标记实体类为文档对象,一般有四个属性

  • indexName:对应索引库名称,mysql中数据库的概念
  • type:对应在索引库中的类型,mysql中表的概念,新版已经没有该属性了
  • shards:分片数量,默认5
  • replicas:副本数量,默认1
@Id

@Id 作用在成员变量,标记一个字段作为id主键

@Field

@Field作用在成员变量,标记为文档的字段,并指定字段映射属性:

  • type:字段类型,是枚举:FieldType,可以是text、long、short、date、integer、object等
  • text:存储数据时候,会自动分词,并生成索引
  • keyword:存储数据时候,不会分词建立索引
  • Numerical:数值类型,分两类
    基本数据类型:long、interger、short、byte、double、float、half_float
    浮点数的高精度类型:scaled_float
    需要指定一个精度因子,比如10或100。elasticsearch会把真实值乘以这个因子后存储,取出时再还原。
  • Date:日期类型,elasticsearch可以对日期格式化为字符串存储,但是建议我们存储为毫秒值,存储为long,节省空间。
  • index:是否建立倒排索引,布尔类型,默认是true
  • store:是否存储,布尔类型,默认是false
  • analyzer:分词器名称,这里的ik_max_word即使用ik分词器

五、代码实现

5.1 创建工程[es-product]
Elasticsearch实现商品搜索
新建项目
Elasticsearch实现商品搜索
项目名称
Elasticsearch实现商品搜索
选择Spring Web
Elasticsearch实现商品搜索
选择Spring Data Elasticsearch
5.2 配置pom.xml

导入lombok、mybatis-plus、mysql依赖包,pom.xml如下

4.0.0org.springframework.bootspring-boot-starter-parent2.4.5com.esproduct0.0.1-SNAPSHOTes-productElasticsearch实现商品搜索1.8org.springframework.bootspring-boot-starter-data-elasticsearchorg.springframework.bootspring-boot-starter-weborg.springframework.bootspring-boot-starter-testtestorg.projectlomboklombok1.18.10providedcom.baomidoumybatis-plus-boot-starter3.2.0mysqlmysql-connector-java8.0.17org.springframework.bootspring-boot-maven-plugin
5.3 创建数据和数据表

1、创建数据

-- 创建数据库
create database es_mall_db  character set utf8mb4;

--  创建用户
create user 'es_mall_u '@'%' identified by 'es_mall_PWD_123';

-- 授权用户
grant all privileges on seata_db.* to 'es_mall_u'@'%';

-- 刷新
flush privileges;

2、创建数据表

CREATE TABLE `brand` (
  `id` char(32) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'ID',
  `brand_name` varchar(100) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '品牌名称',
  `deleted` tinyint(1) DEFAULT '0' COMMENT '0正常 1删除',
  PRIMARY KEY (`brand_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='品牌'
CREATE TABLE `category` (
  `id` char(32) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT 'ID',
  `category_name` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '分类名称',
  `deleted` tinyint(1) DEFAULT '0' COMMENT '0正常 1删除',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='商品分类'
CREATE TABLE `merchant` (
  `id` char(32) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT 'ID',
  `merchant_name` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '店铺名称',
  `address` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '地址',
  `phone` varchar(20) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '联系电话',
  `star` varchar(20) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '星级',
  `deleted` tinyint(1) DEFAULT '0' COMMENT '0正常 1删除',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='店铺'
CREATE TABLE `product` (
  `id` char(32) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT 'ID',
  `merchant_id` char(32) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '店铺ID',
  `brand_id` char(32) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '品牌ID',
  `category_id` char(32) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '商品分类ID',
  `product_name` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商品名称',
  `product_no` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商品编号(barcode)',
  `images` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '图片',
  `original_price` double DEFAULT '0' COMMENT '商品原价',
  `discount_price` double DEFAULT '0' COMMENT '商品折扣价',
  `stock` int(11) DEFAULT '0' COMMENT '库存',
  `sales_volume` int(11) DEFAULT '0' COMMENT '销量',
  `views` int(11) DEFAULT '0' COMMENT '浏览量',
  `synopsis` varchar(500) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '简介',
  `introduction` mediumtext COLLATE utf8mb4_unicode_ci COMMENT '详细介绍',
  `publish_state` tinyint(2) DEFAULT '0' COMMENT '发布状态(0:否;1:是)',
  `deleted` tinyint(1) DEFAULT '0' COMMENT '0正常 1删除',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='商品'

3、插入测试数据

insert into brand (id,brand_name) values (REPLACE(UUID(),"-",""),"小米");
insert into brand (id,brand_name) values (REPLACE(UUID(),"-",""),"华为");
insert into brand (id,brand_name) values (REPLACE(UUID(),"-",""),"Apple");
insert into category (id,category_name) values (REPLACE(UUID(),"-",""),"手机");
insert into category (id,category_name) values (REPLACE(UUID(),"-",""),"电脑");
insert into merchant (id,merchant_name,address,star) values (REPLACE(UUID(),"-",""),"华为专卖店","深圳",'5');
insert into merchant (id,merchant_name,address,star) values (REPLACE(UUID(),"-",""),"AC电子商城","珠海",'5');
insert into product (id,merchant_id,brand_id,category_id,product_name,product_no,original_price,discount_price,stock,synopsis,publish_state) 
values (REPLACE(UUID(),"-",""),"6022b9dbb3ce11ebaf7000163e066303","968a74aab3cd11ebaf7000163e066303",'bb592145b3cd11ebaf7000163e066303','Apple iPhone 12 (A2404) 128GB 白色','A0001',6799,5800,100,'支持移动联通电信5G 双卡双待手机',1);

insert into product (id,merchant_id,brand_id,category_id,product_name,product_no,original_price,discount_price,stock,synopsis,publish_state) 
values (REPLACE(UUID(),"-",""),"6022b9dbb3ce11ebaf7000163e066303","968a74aab3cd11ebaf7000163e066303",'bb592145b3cd11ebaf7000163e066303','Apple iPhone 8 (A2404) 256GB 黑色','B0001',4700,3500,50,'支持移动联通电信4G',1);

insert into product (id,merchant_id,brand_id,category_id,product_name,product_no,original_price,discount_price,stock,synopsis,publish_state) 
values (REPLACE(UUID(),"-",""),"601ae548b3ce11ebaf7000163e066303","9059788ab3cd11ebaf7000163e066303",'bb592145b3cd11ebaf7000163e066303','华为mate40pro 5G手机 亮黑色 8+256G','C0001',7499,7000,200,'全网通(碎屏险套餐)',1);

5.4 配置application.yml
server:
  port: 8080

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://47.105.146.74:3306/es_mall_db?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone =GMT%2B8
    username: es_mall_u
    password: es_mall_PWD_123
5.5 配置Elasticsearch信息

旧版Elasticsearch配置信息都是在application.yml里配置的,但如果用的是新版Elasticsearch,这样配置会提示已过时,新版我需要用配置类

Elasticsearch实现商品搜索
已过时
package com.es.product.confg;

import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.client.ClientConfiguration;
import org.springframework.data.elasticsearch.client.RestClients;
import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration;
import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories;

/**
 * @author Alan Chen
 * @description
 * @date 2021/5/12
 */
@Configuration
@EnableElasticsearchRepositories
public class EsRestClientConfig extends AbstractElasticsearchConfiguration {

    @Override
    @Bean
    public RestHighLevelClient elasticsearchClient() {

        final ClientConfiguration clientConfiguration = ClientConfiguration.builder()
                .connectedTo("localhost:9200")
                .build();

        return RestClients.create(clientConfiguration).rest();
    }
}
5.6 entity类

创建entity包,并创建对应的实体类,entity类对应数据表

/**
 * @author Alan Chen
 * @description 品牌
 * @date 2021/5/13
 */
@Data
public class Brand {

    @TableId(type = IdType.UUID)
    private String id;

    //品牌名称
    private String brandName;

    //逻辑删除标志 0:未删除;1:已删除
    @TableLogic
    private Integer deleted;
}
/**
 * @author Alan Chen
 * @description 商品分类
 * @date 2021/5/13
 */
@Data
public class Category {

    @TableId(type = IdType.UUID)
    private String id;

    //分类名称
    private String categoryName;

    //逻辑删除标志 0:未删除;1:已删除
    @TableLogic
    private Integer deleted;
}
/**
 * @author Alan Chen
 * @description 店铺
 * @date 2021/5/13
 */
@Data
public class Merchant {

    @TableId(type = IdType.UUID)
    private String id;

    //店铺名称
    private String merchantName;

    //地址
    private String address;

    //联系电话
    private String phone;

    //星级
    private String star;

    //逻辑删除标志 0:未删除;1:已删除
    @TableLogic
    private Integer deleted;
}
/**
 * @author Alan Chen
 * @description 商品
 * @date 2020-01-04
 */
@Data
public class Product{

    @TableId(type = IdType.UUID)
    private String id;

    //店铺ID
    private String merchantId;

    //品牌ID
    private String brandId;

    //商品分类ID
    private String categoryId;

    //商品名称
    private String productName;

    //商品编号(barcode)
    private String productNo;

    //图片
    private String images;

    //商品原价
    private double originalPrice;

    //商品折扣价
    private double discountPrice;

    //库存
    private Integer stock;

    //销量
    private Integer salesVolume;

    //浏览量
    private Integer views;

    //简介
    private String synopsis;

    //详细介绍
    private String introduction;

    //发布状态
    private int publishState;

    //逻辑删除标志 0:未删除;1:已删除
    @TableLogic
    private Integer deleted;
}
5.7 es模块

新建es包,将Elasticsearch相关的类都放es包里,并在es创建dao、document、repository、service包

EsProduct 跨表组装需要的数据,存入ES里

package com.es.product.es.document;

import lombok.Data;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

/**
 * @author Alan Chen
 * @description ES类-商品
 * @date 2021/5/13
 */
@Data
@Document(indexName = "es_product",shards = 1, replicas = 0)
public class EsProduct {

    @Id
    private String id;

    //店铺名称
    @Field(type = FieldType.Keyword)
    private String merchantName;

    //品牌名称
    @Field(type = FieldType.Keyword)
    private String brandName;

    //商品分类名称
    @Field(type = FieldType.Keyword)
    private String categoryName;

    //商品名称
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String productName;

    //商品编号(barcode)
    @Field(type = FieldType.Keyword)
    private String productNo;

    //图片
    @Field(type = FieldType.Keyword)
    private String images;

    //商品原价
    @Field(type = FieldType.Double)
    private double originalPrice;

    //商品折扣价
    @Field(type = FieldType.Double)
    private double discountPrice;

    //库存
    @Field(type = FieldType.Integer)
    private Integer quantity;

    //销量
    @Field(type = FieldType.Integer)
    private Integer salesVolume;

    //简介
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String synopsis;
}

EsProductDao 继承mybatis的BaseMapper 类,查询商品数据

package com.es.product.es.dao;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.es.product.es.document.EsProduct;
import org.apache.ibatis.annotations.Mapper;
import org.springframework.stereotype.Repository;

import java.util.List;

/**
 * @author Alan Chen
 * @description
 * @date 2021/5/13
 */
@Repository
@Mapper
public interface EsProductDao extends BaseMapper {

    /**
     * 获取所有商品数据
     * @return
     */
    List listAll();

    /**
     * 获取信息
     * @param id
     * @return
     */
    EsProduct selectById(String id);
}

EsProductRepository继承SpringBoot Data Elasticsearch的ElasticsearchRepository,操作ES

package com.es.product.es.repository;

import com.es.product.es.document.EsProduct;
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;

import java.util.List;

/**
 * @author Alan Chen
 * @description
 * @date 2021/5/13
 */
public interface EsProductRepository extends ElasticsearchRepository {

    /**
     * 根据价格区间查询(自定义方法-名称约定)
     * @param price1
     * @param price2
     * @return
     */
    List findByOriginalPriceBetween(double price1, double price2);
}

package com.es.product.es.service;

import com.es.product.es.document.EsProduct;
import org.springframework.data.domain.Page;

import java.util.List;

/**
 * @author Alan Chen
 * @description
 * @date 2021/5/13
 */
public interface IEsProductService {

    /**
     * 从数据库中导入商品到ES
     * @return
     */
    void importAll();

    /**
     * 新增/修改(id存在就是修改,否则就是插入)
     * @param id
     */
    void save(String id);

    /**
     * 根据id删除商品
     * @param id
     */
    void delete(String id);

    /**
     * 根据id获得商品
     * @param id
     * @return
     */
    EsProduct get(String id);

    /**
     * 批量删除
     * @param ids
     */
    void deletes(List ids);

    /**
     * 所有商品
     * @return
     */
    List listAll();

    /**
     * 根据价格区间查询(自定义方法)
     * @param price1
     * @param price2
     * @return
     */
    List queryByPriceBetween(double price1, double price2);

    /**
     * 名称查询(高级查询)
     * @param productName
     * @return
     */
    Page query(String productName);

    /**
     * 分页查询
     * @param categoryName
     * @param page
     * @param size
     * @return
     */
    Page pageSearch(String categoryName,int page ,int size);

    /**
     * 分页查询(排序)
     * @param categoryName
     * @param page
     * @param size
     * @return
     */
    Page pageSortSearch(String categoryName,int page ,int size);
}

package com.es.product.es.service.impl;

import com.es.product.es.dao.EsProductDao;
import com.es.product.es.document.EsProduct;
import com.es.product.es.repository.EsProductRepository;
import com.es.product.es.service.IEsProductService;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.sort.SortBuilders;
import org.elasticsearch.search.sort.SortOrder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Sort;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.List;

/**
 * @author Alan Chen
 * @description
 * @date 2021/5/13
 */
@Service
public class EsProductServiceImpl implements IEsProductService {

    @Autowired
    EsProductDao esProductDao;

    @Autowired
    EsProductRepository esProductRepository;

    /**
     * 从数据库中导入商品到ES
     * @return
     */
    @Override
    public void importAll() {
        List list = esProductDao.listAll();
        esProductRepository.saveAll(list);
    }

    /**
     * 新增/修改(id存在就是修改,否则就是插入)
     * @param id
     */
    @Override
    public void save(String id) {
        EsProduct esProduct = esProductDao.selectById(id);
        esProductRepository.save(esProduct);
    }

    /**
     * 根据id删除商品
     * @param id
     */
    @Override
    public void delete(String id) {
        esProductRepository.deleteById(id);
    }

    /**
     * 根据id获得商品
     * @param id
     * @return
     */
    @Override
    public EsProduct get(String id) {
        return esProductDao.selectById(id);
    }

    /**
     * 批量删除
     * @param ids
     */
    @Override
    public void deletes(List ids) {
        for(String id : ids){
            esProductRepository.deleteById(id);
        }
    }

    /**
     * 所有商品(按价格排序)
     * @return
     */
    @Override
    public List listAll() {
        Iterable items = this.esProductRepository.findAll(Sort.by(Sort.Direction.DESC, "discountPrice"));

        List list = new ArrayList();
        items.forEach(esProduct -> list.add(esProduct));

        return list;
    }

    /**
     * 根据价格区间查询(自定义方法)
     * @param price1
     * @param price2
     * @return
     */
    @Override
    public List queryByPriceBetween(double price1, double price2) {
        return esProductRepository.findByOriginalPriceBetween(price1,price2);
    }

    /**
     * 名称查询(高级查询)
     * @param productName
     * @return
     */
    @Override
    public Page query(String productName) {
        // 构建查询条件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        // 添加基本的分词查询
        queryBuilder.withQuery(QueryBuilders.matchQuery("productName", productName));
        // 执行搜索,获取结果
        Page esProducts = esProductRepository.search(queryBuilder.build());

        return esProducts;
    }

    /**
     * 分页查询
     * @param categoryName
     * @param page
     * @param size
     * @return
     */
    @Override
    public Page pageSearch(String categoryName, int page, int size) {
        // 构建查询条件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        // 添加基本的分词查询
        queryBuilder.withQuery(QueryBuilders.termQuery("categoryName", categoryName));

        // 设置分页参数
        queryBuilder.withPageable(PageRequest.of(page, size));

        // 执行搜索,获取结果
        Page esProducts = esProductRepository.search(queryBuilder.build());

        return esProducts;
    }

    /**
     * 分页查询(排序)
     * @param categoryName
     * @param page
     * @param size
     * @return
     */
    @Override
    public Page pageSortSearch(String categoryName, int page, int size) {
        // 构建查询条件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        // 添加基本的分词查询
        queryBuilder.withQuery(QueryBuilders.termQuery("categoryName", categoryName));

        // 设置分页参数
        queryBuilder.withPageable(PageRequest.of(page, size));

        // 排序
        queryBuilder.withSort(SortBuilders.fieldSort("originalPrice").order(SortOrder.DESC));

        // 执行搜索,获取结果
        Page esProducts = esProductRepository.search(queryBuilder.build());

        return esProducts;
    }

}
5.8 mapper文件

        select
            t.id,
            t2.brand_name,
            t3.category_name,
            t4.merchant_name,
            t.product_name,
            t.product_no,
            t.images,
            t.original_price,
            t.discount_price,
            t.stock,
            t.sales_volume,
            t.synopsis
        from product t
        left join brand t2 on t.brand_id = t2.id
        left join category t3 on t.category_id = t3.id
        left join merchant t4 on t.merchant_id = t4.id
        
            t.deleted = 0
            and t2.deleted = 0
            and t3.deleted = 0
            and t4.deleted = 0
        
        select
            t.id,
            t2.brand_name,
            t3.category_name,
            t4.merchant_name,
            t.product_name,
            t.product_no,
            t.images,
            t.original_price,
            t.discount_price,
            t.stock,
            t.sales_volume,
            t.synopsis
        from product t
        left join brand t2 on t.brand_id = t2.id
        left join category t3 on t.category_id = t3.id
        left join merchant t4 on t.merchant_id = t4.id
        
            t.deleted = 0
            and t.id = #{id}
        
5.9 单元测试类
package com.es.product;

import com.es.product.es.document.EsProduct;
import com.es.product.es.service.IEsProductService;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.domain.Page;

import java.util.List;

@SpringBootTest
class EsProductApplicationTests {

    @Autowired
    private IEsProductService esProductService;

    /**
     * 从数据库中导入商品到ES
     * @return
     */
    @Test
    public void importAll(){
        esProductService.importAll();
    }

    /**
     * 新增/修改(id存在就是修改,否则就是插入)
     */
    @Test
    public void save(){
        String id = "2e01a7b7b3cf11ebaf7000163e066303";
        esProductService.save(id);
    }

    /**
     * 根据id删除商品
     */
    @Test
    public void delete(){
        String id = "2e01a7b7b3cf11ebaf7000163e066303";
        esProductService.delete(id);
    }

    /**
     * 根据id获得商品
     * @return
     */
    @Test
    public void get(){
        String id = "2e01a7b7b3cf11ebaf7000163e066303";
        EsProduct esProduct = esProductService.get(id);
        System.out.println(esProduct);
    }

    /**
     * 批量删除
     */
    @Test
    public void deletes(){

    }

    /**
     * 所有商品(按价格排序)
     * @return
     */
    @Test
    public void listAll(){
        List list = esProductService.listAll();
        System.out.println(list);
    }

    /**
     * 根据价格区间查询(自定义方法)
     * @return
     */
    @Test
    public void queryByPriceBetween(){
        List list = esProductService.queryByPriceBetween(4000,5000);
        System.out.println(list);
    }

    /**
     * 名称查询
     * @return
     */
    @Test
    public void query(){
        String productName = "Apple";
        Page page = esProductService.query(productName);

        // 打印总条数
        System.out.println(page.getTotalElements());
        // 打印总页数
        System.out.println(page.getTotalPages());
        page.forEach(System.out::println);
    }

    /**
     * 分页查询
     * @return
     */
    @Test
    public void pageSearch(){
        String categoryName = "手机";
        int page = 1;
        int size =2;

        Page esProducts = esProductService.pageSearch(categoryName,page,size);

        // 打印总条数
        System.out.println(esProducts.getTotalElements());
        // 打印总页数
        System.out.println(esProducts.getTotalPages());
        // 每页大小
        System.out.println(esProducts.getSize());
        // 当前页
        System.out.println(esProducts.getNumber());
        esProducts.forEach(System.out::println);
    }

    /**
     * 分页查询(排序)
     * @return
     */
    @Test
    public void pageSortSearch(){
        String categoryName = "手机";
        int page = 1;
        int size =2;

        Page esProducts = esProductService.pageSortSearch(categoryName,page,size);

        // 打印总条数
        System.out.println(esProducts.getTotalElements());
        // 打印总页数
        System.out.println(esProducts.getTotalPages());
        // 每页大小
        System.out.println(esProducts.getSize());
        // 当前页
        System.out.println(esProducts.getNumber());
        esProducts.forEach(System.out::println);
    }

}
Elasticsearch实现商品搜索
项目截图

六、测试接口详解

6.1 将商品数据全部导入ES
    @Override
    public void importAll() {
        List list = esProductDao.listAll();
        esProductRepository.saveAll(list);
    }
6.2 新增/修改(id存在就是修改,否则就是插入)
/**
     * 新增/修改(id存在就是修改,否则就是插入)
     * @param id
     */
    @Override
    public void save(String id) {
        EsProduct esProduct = esProductDao.selectById(id);
        esProductRepository.save(esProduct);
    }

当业务模块对某一商品进行了更新(如改了商品名称、商品价格、销售后库存减少等)就可以调用该接口更新ES里的商品信息。

6.3 根据id删除商品
/**
     * 根据id删除商品
     * @param id
     */
    @Override
    public void delete(String id) {
        esProductRepository.deleteById(id);
    }

商品删除或下架后,可以调用该接口更新ES里的商品信息。

6.4 所有商品(按价格排序)
/**
     * 所有商品(按价格排序)
     * @return
     */
    @Override
    public List listAll() {
        Iterable items = this.esProductRepository.findAll(Sort.by(Sort.Direction.DESC, "discountPrice"));

        List list = new ArrayList();
        items.forEach(esProduct -> list.add(esProduct));

        return list;
    }
6.5 根据价格区间查询(自定义方法)

Spring Data 的另一个强大功能,是根据方法名称自动实现功能。比如:你的方法名叫做:findByTitle,那么它就知道你是根据title查询,然后自动帮你完成,无需写实现类。当然,方法名称要符合一定的约定:

Elasticsearch实现商品搜索
image.png

我们来按照价格区间查询,定义这样的一个方法

/**
     * 根据价格区间查询(自定义方法)
     * @param price1
     * @param price2
     * @return
     */
    @Override
    public List queryByPriceBetween(double price1, double price2) {
        return esProductRepository.findByOriginalPriceBetween(price1,price2);
    }
6.6 名称查询(高级查询)

虽然基本查询和自定义方法已经很强大了,但是如果是复杂查询(模糊、通配符、词条查询等)就显得力不从心了。此时,我们只能使用原生查询。

/**
     * 名称查询(高级查询)
     * @param productName
     * @return
     */
    @Override
    public Page query(String productName) {
        // 构建查询条件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        // 添加基本的分词查询
        queryBuilder.withQuery(QueryBuilders.matchQuery("productName", productName));
        // 执行搜索,获取结果
        Page esProducts = esProductRepository.search(queryBuilder.build());

        return esProducts;
    }
6.7 分页查询
/**
     * 分页查询
     * @param categoryName
     * @param page
     * @param size
     * @return
     */
    @Override
    public Page pageSearch(String categoryName, int page, int size) {
        // 构建查询条件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        // 添加基本的分词查询
        queryBuilder.withQuery(QueryBuilders.termQuery("categoryName", categoryName));

        // 设置分页参数
        queryBuilder.withPageable(PageRequest.of(page, size));

        // 执行搜索,获取结果
        Page esProducts = esProductRepository.search(queryBuilder.build());

        return esProducts;
    }
6.8 分页查询(排序)
/**
     * 分页查询(排序)
     * @param categoryName
     * @param page
     * @param size
     * @return
     */
    @Override
    public Page pageSortSearch(String categoryName, int page, int size) {
        // 构建查询条件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        // 添加基本的分词查询
        queryBuilder.withQuery(QueryBuilders.termQuery("categoryName", categoryName));

        // 设置分页参数
        queryBuilder.withPageable(PageRequest.of(page, size));

        // 排序
        queryBuilder.withSort(SortBuilders.fieldSort("originalPrice").order(SortOrder.DESC));

        // 执行搜索,获取结果
        Page esProducts = esProductRepository.search(queryBuilder.build());

        return esProducts;
    }

七、补充

7. 1 新版@Document 无type属性

在新版ES里,@Document注解已经没有type属性了,因此我的EsProduct没有配置type

@Document(indexName = "es_product",shards = 1, replicas = 0)
public class EsProduct {}
7.2 新版ES删除索引文档

以前旧版ES删除索引文档是这样的,通过ID删除索引文档

DELETE /es_product/_doc/z8qEEHIBZBLFtWo4JEtR

现在新版ES不需要写文档类型_doc了

DELETE /es_product
Elasticsearch实现商品搜索
删除索引文档

八、Elasticsearch与Mysql数据同步问题

Mysql数据同步到ES中分为两种,分别是全量同步和增量同步。全量同步表示第一次建立好ES索引之后,将Mysql中所有数据一次性导入到ES中。增量同步表示Mysql中产生新的数据,这些新的数据包括三种情况,就是新插入Mysql中的数据,更新老的数据,删除的数据,这些数据的变动与新增都要同步到ES中,Elasticsearch与Mysql数据同步有三种方式,分别是:

1、通过Elasticsearch提供的API进行增删改查。
2、通过收集日志进行同步,如ES官方数据收集和同步组件logstash。
3、通过中间件进行数据全量、增量的数据同步,如阿里巴巴canal、go-mysql-elasticsearch等,二者都是基于Mysql的binlog订阅。

源码地址

es-product源码

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:qvyue@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。