本帖最后由 ETLCloud 于 2023-6-29 18:35 编辑
CDC实时数据同步的应用场景
CDC实时同步功能是现代数据仓库技术中常见的一种数据同步技术，能够实现实时交互、持续同步、高可用性和高性能的数据传输。
应用场景：
实时数据备份：将源系统的数据实时备份到目标数据系统中，确保数据的实时性和可靠性。
高效数据同步：保证源系统中数据变化及时地同步到目标数据系统中，减少数据同步延迟和数据丢失。
数据异构转换：将不同数据系统之间的数据进行异构转换，实现数据的互通和共享。
数据监管和审计：对数据的改动进行监管和审计，提高数据的安全性和合规性。
ETLCloud CDC 介绍
ETLCloud CDC是一款容易安装易使用的、零代码的CDC实时数据同步工具，ETLCloud CDC具有以下功能特点：
零代码：只需简单配置，无需任何代码即可完成CDC的配置和同步。
实时数据同步：将一个或多个源数据系统的数据实时传输到目标数据系统。
增量数据同步：高效的数据同步方式，可以只同步最新的更新内容，避免全部备份和传输。
数据源类型：ETLCloud CDC支持多种数据源类型的实时同步主要包含：MySQL、Sql Server、Oracle、PG、MQ等。
实时数据类型转换：实时将原始数据转换为目标端可以识别的格式，从而保证数据准确性和有效性。
DDL同步： 当源表的DDL发现变更时自动同步目标表的DDL。
断点自动恢复：在传送过程中发生异常时能自动从断点位置重新传送实时数据。
CDC+ETL一体化架构： 通过CDC实时数据流与ETL的结合实现对实时复杂数据的处理需求。
此外，ETLCloud CDC 还具备高可用性、灵活配置、数据安全加密、任务监控等功能，可满足不同场景下企业级应用的要求。
安装部署
3.1安装ETLCloud CDC
步骤1：官网下载linux一键部署包，把一键部署包放到一个目录下解压并进入该目录。
对脚本文件进行赋权
chmod +x restcloud_install.sh
执行脚本
./restcloud_install.sh
等待tomcat启动，当出现这个界面，则restcloud证明启动成功
步骤2：打开浏览器输入{host}/restcloud/admin/login
输入用户名密码: admin/pass
步骤3：登入系统后我们去官网申请sn码
填写好邮箱和对应的机器号，点击验证发送验证邮件然后就会返回申请的序列号到所填写的邮箱
将返回的序列号填好，点击保存，刷新页面进入到首页
步骤4：填写好序列号后, 需要执行下版本更新, 在平台主页选择平台监控 -> 一键备份升级,点击版本更新按钮，重启Tomcat即可。
进入tomcat/bin目录
cd /usr/tomcat/bin
//启动tomcat并打印启动日志
./startup.sh && tail -f ../logs/catalina.out
ETLCloud CDC实时库表同步
步骤1： 启用MySQL的CDC功能，需要在MySQL的my.cnf配置文件中设置相应的参数。
在配置文件中增加如下配置，开启Binlog。
server-id = 123
log_bin = mysql-bin
binlog_format = row
binlog_row_image = full
expire_logs_days = 10
gtid_mode = on
enforce_gtid_consistency = on
修改完配置参数后重启MySQL服务
步骤2： 创建数据监听器
步骤3： 配置数据监听器
在创建数据同步任务后，需要对同步任务进行配置。在这个过程中，您需要指定要同步的表以及数据传输模式。
步骤4： 启动同步任务
完成同步任务的配置后，您需要启动同步任务以开始实时同步数据。在ETLCloud中，可以通过单击“启动”按钮来启动同步任务。
步骤5： 监控同步任务
启动数据同步任务后，可以通过监控面板统计图来了解任务的运行状态、同步量以及异常情况。
使用Navicat查看源表数据（restcloud.test）
使用Navicat查看目标表数据（test.test）
执行插入语句
监控面板统计图
再次使用Navicat查看源表数据（restcloud.test）
目标表数据（test.test）
通过对比发现ETLCloud CDC实时同步功能成功使用。
ETLCloud CDC实时同步功能是一种高效、可靠的数据同步方案，它可以用于实现源数据库和目标数据库之间的实时同步，从而提高数据集成和应用开发的效率。
ETLCloud CDC社区免费版本下载地址：https://www.etlcloud.cn
|
楼主
标题置顶
标题高亮
