01部署准备
完成账号开通申请以及账号充值、资源授权等操作。
02规划网络和资源
规划高可用等要求,规划访问需要的网络和资源。
03部署资源
根据网络规划和资源规划,部署RDS MySQL和ClickHouse相关资源。
04配置数据同步
创新云资源相关的数据同步账号,并且配置数据同步和体验查询加速效果等。
05完成及清理
验证数据同步的正确性和一致性,并且进行环境资源清理等操作。
本方案采用RDS MySQL控制台可视化地新增ClickHouse分析节点,可视化、白屏化地配置MySQL数据表与ClickHouse表的实时同步,解决了复杂的数据同步配置操作、运维过程等,实现灵活、高效的一站式HTAP。利用ClickHouse的在线实时分析能力,解决大规模业务数据的在线统计分析,如业务报表统计、交互式运营分析、对账以及实时数仓等业务场景,实现事务在线处理和在线分析的一体化。
默认情况下,需要在ClickHouse中,通过SQL的方式创建数据库时配置数据库引擎类型为MaterializeMySQL,并配置一系列复杂繁琐的相关参数来实现数据同步。
默认情况下,难以支持同步对象对象、跳过同步错误、重启同步链路等维护性操作,同时无法针对同步链路进行流量控制,如控制全量同步时每秒最多拉取的行数等。
为了解决MySQL到ClickHouse数据同步配置复杂、维护复杂的问题,往往会引入第三方同步工具,但也带来较高的同步成本以及工具维护成本。