MySQL分库分表同步至MaxCompute
MaxCompute：读取或写入MaxCompute表数据时，您可以根据需要选择是否开启相关属性。详情请参见 MaxCompute环境准备。MySQL：来源数据源为MySQL时，您需要开启Binlog相关功能，详情请参见 MySQL环境准备。背景信息 实际业务场景下数据同步...
MySQL分库分表同步至MaxCompute
MaxCompute：读取或写入MaxCompute表数据时，您可以根据需要选择是否开启相关属性。详情请参见 MaxCompute环境准备。MySQL：来源数据源为MySQL时，您需要开启Binlog相关功能，详情请参见 MySQL环境准备。背景信息 实际业务场景下数据同步...
整库离线同步至Elasticsearch
如果来源库没有主键，则您需要单击 图标，自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键进行同步数据时进行去重判断。选择索引建立方式 支持 自动建索引 和 使用已有索引：当 索引建立方式 选择 自动建索引 时，...
一键实时同步至Kafka
当勾选 支持源表无主键同步 后，源表没有主键，也可以向下游同步，但是同步数据时kafka记录的key将使用空值，只有当写入的kafka topic是单分区，才能确保变更有序写入。发送心跳记录 定义是否发送报警信息至Kafka。勾选 发送心跳记录 后，...
研发平台设置
在Dataphin研发平台支持设置研发过程中的编辑锁。本文将为您介绍如何进行...提交成功时自动释放 提交成功时自动释放锁定，提交失败不释放。单击 确定，完成 研发平台设置。若需将研发平台设置恢复为默认值，可以单击 恢复默认值 进行恢复。
研发平台设置
在Dataphin研发平台支持设置研发过程中的编辑锁。本文将为您介绍如何进行...提交成功时自动释放 提交成功时自动释放锁定，提交失败不释放。单击 确定，完成 研发平台设置。若需将研发平台设置恢复为默认值，可以单击 恢复默认值 进行恢复。
导入概述
以下是导入数据时的一些注意事项：选择合适的导入方式：根据数据量大小、导入频次或数据源所在位置选择导入方式。例如，如果原始数据存放在HDFS上，则使用Broker load导入。确定导入方式的协议：如果选择了Broker Load导入方式，则外部系统...
导入概述
以下是导入数据时的一些注意事项：选择合适的导入方式：根据数据量大小、导入频次或数据源所在位置选择导入方式。例如，如果原始数据存放在HDFS上，则使用Broker load导入。确定导入方式的协议：如果选择了Broker Load导入方式，则外部系统...
Echarts 瀑布图
自动 选择自动时，数据缩放水平分布 水平：数据缩放水平分布。竖直：数据缩放竖直分布。提示框：单击右侧的 眼睛 图标显示提示框。触发类型：自定义触发类型，可选，默认为 坐标轴。数据项：数据项图形触发，主要在散点图，饼图等无类目轴...
事务拆分
开启数据库代理后（数据库代理的事务拆分功能默认开启），在默认的Read Committed隔离级别下，当RDS PostgreSQL关闭事务自动提交后，仅会在发生写操作时才正式开启事务，正式开启事务前的读请求会通过负载均衡模块分流至只读实例。...
Echarts 颜色分段折线图
自动：选择自动时，数据缩放水平分布。水平：数据缩放水平分布。竖直：数据缩放竖直分布。视觉映射：单击右侧的 眼睛 图标显示视觉映射。分段：单击右侧的 或 图标，添加或删除一个分段。单击 或 图标配置多个分段的排列样式。单击 图标，...
Echarts 瀑布图
自动 选择自动时，数据缩放水平分布 水平：数据缩放水平分布。竖直：数据缩放竖直分布。提示框：单击右侧的 眼睛 图标显示提示框。触发类型：自定义触发类型，可选，默认为 坐标轴。数据项：数据项图形触发，主要在散点图，饼图等无类目轴...
配置管理
在提交数据变更工单时，是否强制录入回滚SQL，Y表示必须要录入回滚SQL，N表示不强制录入回滚SQL 取值：Y：在提交数据变更工单时，必须要录入回滚SQL。N：在提交数据变更工单时，不强制录入回滚SQL。是否开启超级SQL模式 取值：Y：开启超级...
分区索引
创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生多模数据库 Lindorm 实例的搜索索引服务，具体操作请参见 开通搜索索引...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
如果在自动提交时失败，调用方需要处理异常，并且会在异常中得到失败的数据列表。addMap(String tableName,Map,String>dataMap)/addMaps(String tableName,List,String>>dataMaps)对应于addRow，支持map格式数据的写入。如果SQL长度已满，...
配置同周期调度依赖
若同一个工作空间中，两个调度节点往同一张表插入数据，自动解析场景下将导致其中一个节点产生报错，详情请参见 多个节点往同一张表写数据，自动解析报错节点输出名相同。依赖配置：对于使用SQL任务加工离线同步任务的产出表的场景，为了...
使用Kafka客户端消费订阅数据
注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完就执行了提交操作，从而丢失部分数据，建议采用手动提交的方式以避免该问题。说明 如果发生故障没有提交成功，重启客户端后会从上...
入库审批
当您发现数据录入有误或存在有新增数据，需要重新提交数据时，可以撤回原先的提交订单，此时 已撤回 目录下就会新增该记录。审批者 当角色为审批者时，点击表格填报界面中“我审批的”审批流内可查看 待我审批、我 已审批 两种状态。当审批...
平滑扩容
扩容示意图下：PolarDB-X 1.0 扩容步骤如下：创建扩容计划 选择新增加RDS/PolarDB MySQL，并选定需要迁移到新RDS/PolarDB MySQL实例上的分库，提交任务后系统自动在目标RDS/PolarDB MySQL上创建数据库和账号，并提交任务进行数据迁移同步。...
提交节点时提示：输入输出和代码血缘分析不匹配
当节点代码中SELECT非周期性调度生产的表数据时，您需要删除通过SELECT自动生成的依赖的上游节点配置。非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 对于周期性生成数据的表，...
提交节点报错：当前节点依赖的父节点输出名不存在
不是DataWorks每天调度产出的表数据，是不需要设置节点依赖关系的，这类表依赖可以删除，删除后提交节点时，会出现血缘关系与调度依赖配置不一致的提示，您可确认一下，是否除了删除的非周期性生成数据表的依赖关系外，有没有其他血缘与...
填充数据库
1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT。某些客户端库可能背着你就做了这些，在这种情况下你需要确定在你需要做这些时该库确实帮你...
通过外表导入至湖仓版
导入数据时，您可以选择常规导入和弹性导入两种方式。弹性导入相较于常规导入，可以大幅减少资源的消耗，降低导入过程中对在线读写业务的影响。本文介绍如何通过外表查询OSS数据，并将OSS的数据导入 AnalyticDB MySQL版 湖仓版（3.0）集群...
配置并管理实时同步任务
当勾选 支持源表无主键同步 后，源表没有主键，也可以向下游同步，但是同步数据时kafka记录的key将使用空值，只有当写入的kafka topic是单分区，才能确保变更有序写入。发送心跳记录 定义是否发送报警信息至Kafka。勾选 发送心跳记录 后，...
JDBC
参数名 说明 autoCommit 开启或关闭参数形式的自动提交。取值如下：true（默认）：开启参数形式的自动提交。false：关闭参数形式的自动提交。autoCommitSpecCompliant 是否允许自动提交下继续调用commit/rollback方法。取值如下：true...
查看并管理已提交实例
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已提交...
查看并管理已提交实例
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已提交...
数据库高级特性管理
取值如下：OFF：关闭（默认值）ON：开启 ansi_null_default 在插入数据时，如果指定的值为NULL，则该列是否接受NULL值。取值如下：OFF：关闭（默认值）ON：开启 ansi_padding 是否启用ANSI填充。启用后，如果插入的数据长度不足，则会使用...
普通数据变更
您可以在DMS中通过SQL窗口直接输入SQL语法或通过数据变更工单提交数据变更。同时，您可以自定义安全规则，实现对不同环境库定义不同的数据变更执行配置。本文将通过以下4个例子向您介绍典型场景下的安全规则设定与对应提交数据变更的方式。...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
组复制简介
接收方的XCom在轮询数据时，会自动忽略其他Paxos组。这样，只要多数派可用，Paxos就能正常发送数据，集群的可用性不受影响。在单主模式下，备节点不会发送事务数据，但有时需要发送一些集群管理信息。备节点在发送数据时，必须向主节点请求...
应用级别的数据完整性检查
对于使用读已提交事务的数据完整性强制业务规则非常困难，因为对每一个语句数据视图都在变化，并且如果一个写冲突发生即使一个单一语句也不能把它自己限制到该语句的快照。虽然一个可重复读事务在其执行期间有一个稳定的数据视图，在使用 ...
写入数据
Client 会自动帮助您批量地提交数据，不需要您手动打包。如果没有特殊需求，推荐您使用异步非阻塞的写数据的方式。示例代码/构建 Point Point point=Point.metric("test1").tag("tagk1","tagv1").value(timestamp,Math.random()).build();...
通过脚本模式创建集成任务
系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过 10万条 血缘关系，超过则不予记录，在资产目录中无法展示。后续步骤 如果您的开发模式是Dev-Prod模式，...
通过脚本模式创建集成任务
系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过 10万条 血缘关系，超过则不予记录，在资产目录中无法展示。后续步骤 如果您的开发模式是Dev-Prod模式，...
配置Hive输入组件
静态：保存任务并提交时，所获取的元数据用于该任务之后的每一次运行。动态：每次任务运行时都重新获取该时刻的元数据。文件编码 选择读取文件的存储在Hive的编码方式。文件编码包括 UTF-8 和 GBK。压缩格式 选择读取文件的压缩格式。系统...
数据库代理发布记录
1.13.30（发布日期：20211230）类别 说明 问题修复 修复提交会话一致性的事务后，读取不到最新的已提交数据的问题。1.13.27（发布日期：20211116）类别 说明 问题修复 修复了某些客户端SSL兼容性的问题。优化了insert语句代理parse的性能。...
依赖关系
多个节点往同一张表写数据，自动解析报错节点输出名相同且提交报错，可以有相同的输出名称吗？使用自动解析依赖关系时，如何不解析到中间表？业务流程最上游节点的父节点配置应该如何配置？节点删除、变更常见问题 为什么在节点A搜索上游...
查看并管理已生成实例
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层，如下图所示。区域 描述 ① ...
查看并管理已生成实例
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层，如下图所示。区域 描述 ① ...
- 产品推荐
- 这些文档可能帮助您