配置数据层
前提条件 配置MySQL数据层的前提条件：在两个单元环境中分别已创建一个或多个同名MySQL。具体操作，请参见 快速创建RDS MySQL实例。已在对应源MySQL实例和目标MySQL实例之间建立好同步链路，且同步链路状态已达到同步中。具体操作，请参见 ...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
设置实例参数
如果只读实例是高可用系列实例，有主实例和备实例，如何设置这两个主备只读实例的参数？只需要在主只读实例上设置参数，备只读实例会自动同步主只读实例上的参数值。不能直接修改备只读实例的参数。附录：会同步修改到只读实例的参数列表 ...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
您可以通过 指定对象 和 匹配规则 两个入口选择迁移对象。重要 待同步的表名和其中的列名不能包含中文字符。当数据库的库名或表名存在“$”字符时，会影响数据同步项目的创建。通过 指定对象 的方式选择同步对象后，DDL 操作仅对已选择的...
通过数据同步功能同步SLS至湖仓版（推荐）
例如，两个数据同步任务的OSS路径分别为oss:/adb_demo/test/sls1/和oss:/adb_demo/test/，OSS路径有相互前缀关系，数据同步过程中会有数据覆盖。目标库表配置 的参数说明如下：参数名称 参数说明 库名 同步到 湖仓版（3.0）的数据库名称。...
通过数据同步功能同步Kafka至湖仓版（推荐）
例如，两个数据同步任务的OSS路径分别为oss:/adb_demo/test/sls1/和oss:/adb_demo/test/，OSS路径有相互前缀关系，数据同步过程中会有数据覆盖。目标库表配置 参数说明如下：参数名称 参数说明 库名 同步到 AnalyticDB MySQL 的数据库名称...
现代IM系统中的消息系统—实现
第一列为主用户ID、第二列为次用户ID，在两个人成为好友后，关系表中需要插入两行数据，分别以自己的用户ID为main_user，以好友的用户ID为sub_user，然后将共同的会话timline_id作为属性列，并且可以维护相互之间不同的昵称、显示。...
日志位点监控
PolarDB 中存在以下几个比较重要的WAL日志位点：主节点当前日志写入位点，可以通过 pg_current_wal_insert_lsn()函数查询。所有备节点中最小的日志回放位点，可以通过 polar_oldest_apply_lsn()函数查询。主节点的一致性位点，可以通过 ...
节点诊断
节点Chronyd进程状态 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令 systemctl restart chronyd 重启节点Chronyd进程。节点Containerd镜像拉取状态 ...
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
导入与导出
本文介绍AnalyticDB MySQL中导入导出的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何停止异步导入导出任务？如何使用SQL查看当前库里RUNNING的导入...
Pod诊断
节点Chronyd进程状态 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令 systemctl restart chronyd 重启节点Chronyd进程。节点Containerd镜像拉取状态 ...
【停售/下线】TokuDB引擎转换为InnoDB引擎
原理说明 gh-ost进行转换的基本原理是新建一个与原表结构相同的临时表，然后同步原表数据，全量完成后通过模拟Slave进程读取Binlog，实时同步数据到临时表。最后在业务低峰时间段重命名表进行切换。此方案主要压力来自全量数据初始化时的IO...
Alibaba Cloud Linux系统中与透明大页THP相关的性能...
而且默认配置对于许多应用来说可能造成系统性能下降，例如：如果透明大页THP的碎片整理开关设置为 always，内存紧张时会和普通4 KB页一样，出现内存的直接回收或内存的直接整理，这两个操作均是同步等待的操作，会造成系统性能下降。...
服务运维
此时一个典型 Pod 的资源分配如下图示：理想比例的缺陷 理想比例的假设带来了两个问题：蚂蚁集团已经实现了业务资源的 Quota 管控，但 Sidecar 并不在业务容器内，Service Mesh 容器成为了一个资源泄漏点。由于业务多样性，部分高流量应用...
离线同步读取MongoDB数据
{"col_3":"value3","col_4":"value4"} 附录2：关于document中Decimal类型输出问题 关于document序列化为JSON格式输出时，Decimal128类型默认情况下，会输出为：{"key_decimal":{"finite":true,"high":3471149412795809792,"infinite":false...
工作负载推荐配置
声明每个Pod的resource（Request和Limit）在使用Kubernetes集群时，经常会遇到在一个节点上调度了太多的Pod，导致节点负载过高，无法正常对外提供服务的问题。为避免上述问题，在Kubernetes集群中部署Pod时，您可以指定该Pod所需的Request...
Dataphin一个同步任务产生两个周期实例
概述 本文主要描述了Dataphin一个同步任务产生两个周期实例的原因。详细信息 在将同步任务A发布以后，会产生了一个周期实例。当同步任务A被重新配置又发布了一次后，产生了第二个周期实例，所有两个周期实例名字一样，但是内容不一样哈。...
数据同步拓扑介绍
说明 关于双向同步的配置案例请参见 MySQL实例间的双向同步。您可以将现有的单向同步升级为双向同步，详情请参见 单向同步升级至双向同步。若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：...
进程监控
您可以参考Linux中的 top 命令理解这两个监控项的含义。进程的打开文件数。您可以参考Linux中的 lsof 命令理解这个监控项的含义。云监控采集CPU消耗Top5进程的CPU使用率，可能存在以下问题：如果您的进程占用多个CPU，则会出现CPU使用率...
通过对接外部LDAP登录云原生AI控制台
常见问题 问题现象 当配置Keycloak对接OpenLDAP，并同步用户至Keycloak时，出现以下报错：keycloak sync faild Failed during import user from LDAP:org.keycloak.models.ModelException:User returned from LDAP has null username!...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？...关于如何排查预检查的报错，请参见 修复数据迁移预检查失败的问题 和 修复同步作业预检查失败的问题。
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步作业。选择为 否：默认选项。同步操作类型 根据业务选中需要同步的操作类型，默认情况下都处于选中状态。选择同步对象 在 源库对象 框中单击待迁移的对象，...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步作业。选择为 否：默认选项。同步操作类型 根据业务选中需要同步的操作类型，默认情况下都处于选中状态。选择同步对象 在 源库对象 框中单击待迁移的对象，...
Logstash FAQ
Logstash在两个Elasticsearch之间同步数据，如何保证mapping一致？阿里云Logstash支持rubydebug模式吗？系统报错elasticsearch.errorcode.UnsafeKeyword.message，是什么原因？Logstash支持将数据源配置为DRDS吗？支持。可参考RDS MySQL...
RDS PostgreSQL间的双向同步
目前DTS支持进行检测的冲突类型包括：INSERT导致的唯一性冲突 同步INSERT语句时违背了唯一性约束，例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录，那么同步到对端时，会因为已经存在相同主键值的记录，导致...
配置数据层
前提条件 配置MySQL数据层的前提条件：在两个单元环境中分别已创建一个或多个同名MySQL。具体操作，请参见 快速创建RDS MySQL实例。已在对应源MySQL实例和目标MySQL实例之间建立好同步链路，且同步链路状态已达到同步中。具体操作，请参见 ...
RDS PostgreSQL间的双向同步
目前DTS支持进行检测的冲突类型包括：INSERT导致的唯一性冲突 同步INSERT语句时违背了唯一性约束，例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录，那么同步到对端时，会因为已经存在相同主键值的记录，导致...
离线同步数据质量排查
背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，...
数据源开发和生产环境隔离
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置不同的数据源信息。在同步任务执行过程中，可由执行环境控制离线同步任务所...
RDS MySQL与PolarDB MySQL版间的双向同步
目前DTS支持进行检测的冲突类型包括：INSERT导致的唯一性冲突 同步INSERT语句时违背了唯一性约束，例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录，那么同步到对端时，会因为已经存在相同主键值的记录，导致...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。目标库对象名称大小写策略 您可以配置目标...
自定义资源组
如果返回两个进程，则说明是该原因导致，解决方法如下：登录ECS，对上述 ps 出的两个进程执行 kill-9。执行命令 chown admin:admin/home/admin/-R。切换至admin账号。执行命令/home/admin/alisatasknode/target/alisatasknode/bin/...
PolarDB PostgreSQL版（兼容Oracle）集群同步至...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。目标库对象名称大小写策略 您可以配置目标...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
Hologres整库周期性增全量同步至MaxCompute
本实践以Hologres作为来源数据源，以MaxCompute作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Hologres数据源和MaxCompute数据源，两个数据源支持的数据同步能力请参见 Hologres数据源、MaxCompute数据源。...
Db2 for LUW同步至AnalyticDB MySQL版 3.0
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。目标库对象名称大小写策略 您可以配置目标...
云数据库MongoDB版（副本集架构）间的双向同步
目前DTS支持进行检测的冲突类型包括：INSERT导致的唯一性冲突 同步INSERT语句时违背了唯一性约束，例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录，那么同步到对端时，会因为已经存在相同主键值的记录，导致...
云数据库MongoDB版（副本集架构）间的双向同步
目前DTS支持进行检测的冲突类型包括：INSERT导致的唯一性冲突 同步INSERT语句时违背了唯一性约束，例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录，那么同步到对端时，会因为已经存在相同主键值的记录，导致...
- 产品推荐
- 这些文档可能帮助您