Mysql到Elasticsearch的数据同步，一般用ETL来实现，但性能并不理想，目前大部分的ETL是定时查询Mysql数据库有没有新增数据或者修改数据，如果数据量小影响不大，但如果几百万上千万的数据量性能就明显的下降很多，本文是使用Go实现的go-mysql-transfe
但不可否认的是，在长期的应用实践中，也发现很多不好处理的流程和场景;对于ES索引的结构维护，数据主体如果相对简单的话，可以考虑手动管理，但实际上使用索引时，通常主体结构都比较复杂，字段个数超过三五十都很常见，所以基于流程化的管理很有必要;
简介DBSyncer是一款开源的数据同步中间件，提供Mysql、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。
本文会先讲述数据同步的 4 种方案，并给出常用数据迁移工具，干货满满！不 BB，上文章目录：1. 前言在实际项目开发中，我们经常将 MySQL 作为业务数据库，ES 作为查询数据库，用来实现读写分离，缓解 MySQL 数据库的查询压力，应对海量数据的复杂查询。
本文介绍了四种不同的数据同步平台优化方法。在改用 Coban 团队提供的 MySQL 二进制日志流并对流消费器进行优化后，数据同步平台节省了约 91% 的数据库读取和 90% 的 Elasticsearch 读取，流消费器处理的流流量的平均查询次数从 200 次增加到 800 次。
