产品计费
安全基线检查 数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全。数据域管理 该功能支持将具有相同特征的数据资产划分...
应用级别的数据完整性检查
对于使用读已提交事务的数据完整性强制业务规则非常困难，因为对每一个语句数据视图都在变化，并且如果一个写冲突发生即使一个单一语句也不能把它自己限制到该语句的快照。虽然一个可重复读事务在其执行期间有一个稳定的数据视图，在使用 ...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
事务隔离
例如：考虑一个在数据上操作的 DELETE 命令，它操作的数据正被另一个命令从它的限制条件中移除或者加入，例如，假定 website 是一个两行的表，两行的 website.hits 等于 9 和 10：BEGIN;UPDATE website SET hits=hits+1;run from another ...
配置并管理实时同步任务
如果在kafka集群发生响应异常的情况下，仍要确保有主键表同主键的变更有序写入kafka的同一分区，则需要在配置kafka数据源时，在扩展参数表单中加入如下配置。{"max.in.flight.requests.per.connection":1,"buffer.memory":100554432}。重要...
通过文件管理优化性能
为了提升查询性能，Delta Engine对数据的存储和布局进行了优化，目前支持两种布局算法：bin-packing和Z-Ordering。在本文中，我们会介绍如何使用这两种布局算法并给出使用案例。此外我们还介绍了Delta Engine的Data skipping功能，以及该...
Kafka增量数据同步至MaxCompute
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
Kafka增量数据同步至MaxCompute
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
功能更新动态（2024年）
X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务列表，支持批量提交、批量下线...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
如何创建/添加表单
2.6提交数据 ① 在会员中心展示/隐藏表单提交数据（我的表单）管理员可设置是否在会员中心展示已填写表单的查看入口（电脑端/手机端查看）；选择“开启”，会员填写表单并提交后，可以在【会员中心-我的表单】中查看自己填写的表单（如下图...
强一致分布式事务
在遇到数据异常、数据库被删的风险时，需要通过数据库的备份集进行快速恢复，其中数据恢复也要保证事务的一致性。另外，分布式数据库通常数据存储规模更大，对于备份恢复的一致性有更大的挑战。PolarDB-X 在存储节点（DN）的数据和变更日志...
LISTEN
该命令，然后在一个新事务中根据应用程序逻辑的需要检查数据库状态，然后依靠通知来了解数据库状态的后续更改。最初收到的几个通知可能涉及在初始数据库检查中已经观察到的更新，但这通常是无害的。NOTIFY对 LISTEN 和 NOTIFY 的使用进行了...
离线同步数据质量排查
上下游节点要建立节点依赖，避免使用max_pt这类的弱数据依赖，避免下游消费数据时数据不完整。目标表、分区有多个同步任务同时在执行，并产生了干扰 不合理的同步任务并发执行。如果是同节点多周期实例导致的冲突，建议配置任务调度自依赖...
增加或删除已运行任务的同步表
这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。③ 如果来源库有主键，同步数据时会直接使用该主键进行去重。如果勾选 支持源表无主键同步，那么源表...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
MaxCompute数据离线同步至ClickHouse
数据集成资源组配置 选择在创建数据源时，与ClickHouse数据源、MaxCompute数据源都完成连通性检查的数据集成资源组。试运行与提交执行任务 试运行 单击顶部的 运行 或 带参运行，可以试运行并查看同步结果是否符合预期。带参运行 可以针对...
Oracle数据源
准备工作4：检查数据库的字符编码 您需要在当前使用的数据库中，执行如下命令检查数据库的字符编码。select*from v$nls_parameters where PARAMETER IN('NLS_CHARACTERSET','NLS_NCHAR_CHARACTERSET');v$nls_parameters 用于存放数据库参数...
如何支持超大事务
执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：INSERT INTO `tb` VALUES(id,c)数据表中 c 列的数据类型为longblob，c 的大小从256 KB到8 ...
Tunnel SDK常见问题
对于多次提交导致报错，请先检查数据是否已经上传成功，如果失败，请重新上传一次，请参见 多线程上传示例。如何使用TunnelBufferedWriter规避使用Tunnel SDK进行批量数据上传出错的问题？MaxCompute Java SDK在0.21.3-public版本之后新增...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建PostgreSQL同步至 云原生数据仓库AnalyticDB PostgreSQL。通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。前提条件 自建PostgreSQL中待同步的数据表必须...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建PostgreSQL同步至 云原生数据仓库AnalyticDB PostgreSQL。通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。前提条件 自建PostgreSQL中待同步的数据表必须...
OSS数据离线同步至MaxCompute
选择在创建数据源时，与OSS数据源、MaxCompute数据源都完成连通性检查的数据集成资源组。试运行与提交执行任务 试运行 单击顶部的 运行 或 带参运行，可以试运行并查看同步结果是否符合预期。带参运行 可以针对任务配置中使用的调度系统...
OSS数据离线同步至MaxCompute
选择在创建数据源时，与OSS数据源、MaxCompute数据源都完成连通性检查的数据集成资源组。试运行与提交执行任务 试运行 单击顶部的 运行 或 带参运行，可以试运行并查看同步结果是否符合预期。带参运行 可以针对任务配置中使用的调度系统...
ALTER DOMAIN
ALTER DOMAIN 更改一个现有域的定义。简介 有几种形式：SET/DROP ...要重命名一个域上的一个检查约束：ALTER DOMAIN zipcode RENAME CONSTRAINT zipchk TO zip_check;要把域移动到一个不同的模式：ALTER DOMAIN zipcode SET SCHEMA customers;
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
备份恢复
说明 PolarDB-X 1.0 只支持RDS级别的备份，如果所有库都在一个RDS上，即使只选择了其中一个库，也会把这个RDS上所有的库都备份一遍，备份集大小和全选所有库时一样大。单击 确定，提交备份任务。单击右上角按钮，可查看备份任务进度。在 ...
MySQL实例间的双向同步
在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA切换机制后，可能会导致数据只写到了内存，从而造成数据丢失。特殊情况 当源库为自建MySQL时：在同步时，如果源库进行主备切换，将会...
配置数据订阅任务
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入任意目标端，适配各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。本文将介绍在DTS专属...
离线同步常见问题
如果凌晨任务调度时偶尔失败，但重跑又能成功，请检查数据库在报错时间点的负载情况。如何切换数据集成任务执行资源组？您可以在 DataStudio 修改数据集成任务调试所用的资源组，同时，也支持您在 运维中心 修改任务调度时所使用的数据集成...
从PolarDB PostgreSQL版（兼容Oracle）集群同步至自建...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
代码评审
DataWorks的强制代码评审为工作空间维度开启，开启后，开发人员提交的节点代码必须通过评审人员的审核才可发布。同时，您可指定代码评审的基线范围（即对哪类基线任务进行评审），把控高优先级任务的代码质量，防止任务运行失败阻塞其他...
RDS PostgreSQL间的单向同步
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 间的单向同步。前提条件 已创建源库和目标数据库 RDS PostgreSQL 实例，创建方式，请参见 创建RDS PostgreSQL实例。说明 建议源库和目标数据库的版本...
使用DTS迁移实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 间的结构迁移、全量数据迁移以及增量数据迁移。同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。前提条件 已创建源和...
RDS PostgreSQL间的单向同步
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 间的单向同步。前提条件 已创建源库和目标数据库 RDS PostgreSQL 实例，创建方式，请参见 创建RDS PostgreSQL实例。说明 建议源库和目标数据库的版本...
RDS PostgreSQL间的数据迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 间的结构迁移、全量数据迁移以及增量数据迁移。同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。前提条件 已创建源和...
MySQL实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持MySQL实例间的双向同步。支持的源和目标数据库 MySQL间同步支持以下源或目标数据库。本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例类似。源数据库 ...
事务与Read/Write Concern
本文将介绍关于事务以及Read/Write Concern的最佳实践，帮助您更好地使用 云数据库 MongoDB 版 的事务以及Read/Write Concern功能。背景信息 MongoDB 4.0版本支持了单机事务（副本集事务），可以在副本集内的一个或多个集合进行事务操作。...
- 产品推荐
- 这些文档可能帮助您