elasticsearch与mysql数据同步(logstash)

时间:2021-7-3 作者:qvyue

索引的创建以及IK的安装详见:elasticsearch与mysql数据同步(go-mysql-elasticsearch)

1. Logstash介绍

Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。
Logstash 是一个功能强大的工具,可与各种部署集成。 它提供了大量插件,可帮助你解析,丰富,转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理,则需要将 Logstash 添加到部署中。

2. 应用场景

1.日志搜索器:logstash采集、处理、转发到elasticsearch存储,在kibana进行展示
2.Elk日志分析(elasticsearch+logstash+kibana)
3.logstash同步mysql数据库数据到es

3. logstash安装

1.拉取logstash镜像(需要与es版本对应)

docker pull logstash:7.12.1

2.构建logstash容器

#创建一个用于存储logstash配置以及插件的目录
mkdir /docker/logstash
docker run -p 9900:9900 -d --name logstash -v /docker/logstash:/etc/logstash/pipeline --privileged=true logstash:7.12.1

3.进入容器内部安装jdbc和elasticsearch插件

#进入容器内部
docker exec -it logstash bash
#使用logstash-plugin安装器安装logstash-input-jdbc插件,改安装器在bin目录下(此插件镜像新版本自带)
logstash-plugin install logstash-input-jdbc
#安装数据输出到es的插件
logstash-plugin install logstash-output-elasticsearch

4.下载jdbc的mysql-connection.jar包

https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.24/mysql-connector-java-8.0.24.jar

5.修改容器内部配置
修改/usr/share/logstash/config/logstash.yml文件

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://172.17.0.7:9200" ]

修改/usr/share/logstash/config/pipelines.yml文件

- pipeline.id: table1
  path.config: "/etc/logstash/pipeline/logstash.conf"

6.退出容器,创建配置文件以及相关配置信息
创建配置文件

touch /docker/logstash/logstash.conf

配置文件内容(全量的配置文件)

input {
 stdin { }
    jdbc {
        #注意mysql连接地址一定要用ip,不能使用localhost等
        jdbc_connection_string => "jdbc:mysql://172.17.0.3:3306/lmrs"
        jdbc_user => "root"
        jdbc_password => "root"
        #这个jar包的地址是容器内的地址
        jdbc_driver_library => "/etc/logstash/pipeline/mysql-connector-java-8.0.24.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        statement => "select id,`name`,long_name,brand_id,three_category_id as category_id,shop_id,price,status,sold_count,review_count,create_time,last_time from lmrs_products"
        schedule => "* * * * *"
    }
 }
 output {
     elasticsearch {
        #注意es连接地址一定要用ip,不能使用localhost等
        hosts => "172.17.0.7:9200"
        index => "products"
        document_type => "_doc"
        document_id => "%{id}"
     }
     stdout {
     
        codec => json_lines
    }
}

增量的配置文件

input {
 stdin { }
    jdbc {
        #注意mysql连接地址一定要用ip,不能使用localhost等
        jdbc_connection_string => "jdbc:mysql://172.17.0.3:3306/lmrs"
        jdbc_user => "root"
        jdbc_password => "root"
        #数据库重连尝试
        connection_retry_attempts => "3"
        #数据库连接可用校验超时时间,默认为3600s
        jdbc_validation_timeout => "3600"
        #这个jar包的地址是容器内的地址
        jdbc_driver_library => "/etc/logstash/pipeline/mysql-connector-java-8.0.24.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        #开启分页查询(默认是false)
        jdbc_paging_enabled => "true"
        #单次分页查询条数(默认100000,字段较多的话,可以适当调整这个数值)
        jdbc_page_size => "50000"
        #执行的sql语句
        statement => "SELECT a.id,a.`name`,a.long_name,a.brand_id,a.three_category_id AS category_id,a.shop_id,a.price,a.`status`,a.sold_count,a.review_count,a.create_time,a.last_time FROM lmrs_products AS a where a.id > :sql_last_value"
        #需要记录查询结果某字段的值时,此字段为true,否则默认tracking_colum为timestamp的值
        use_column_value => true
        #是否将字段名转为小写,默认为true(如果具备序列化或者反序列化,建议设置为false)
        lowercase_column_names => false
        #需要记录的字段,同于增量同步,需要是数据库字段
        tracking_column => id
        #记录字段的数据类型
        tracking_column_type => numeric
        #上次数据存放位置
        record_last_run => true
        #上一个sql_last_value的存放路径,必须在文件中指定字段的初始值
        last_run_metadata_path => "/etc/logstash/pipeline/products.txt"
        #是否清除last_run_metadata_path的记录,需要增量同步这个字段的值必须为false
        clean_run => false
        #同步的频率(分 时 天 月 年)默认为每分钟同步一次
        schedule => "* * * * *"
    }
 }
 output {
     elasticsearch {
        #注意es连接地址一定要用ip,不能使用localhost等
        hosts => "172.17.0.7:9200"
        index => "products"
        document_type => "_doc"
        document_id => "%{id}"
     }
     stdout {
        codec => json_lines
    }
}

注:
last_run_metadata_path => “/etc/logstash/pipeline/products.txt”:因为需要记录下上次同步的数据id,所以这里会有一个文件进行存储这个id,需要在logstash目录下去创建一个txt文件,用于存储这个id,同时需要给予权限。不给会出现权限异常问题(Permission denied)

7.相关演示
查看索引数据

GET /_cat/indices?v
elasticsearch与mysql数据同步(logstash)
products索引

启动容器,可通过docker logs -f logstash查看运行日志,稍后查看索引数据

elasticsearch与mysql数据同步(logstash)
全量

elasticsearch与mysql数据同步(logstash)
增量
声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:qvyue@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。