依赖跟踪
之所以在这里会停下，是因为没有什么依赖着外键约束（如果希望检查 DROP.CASCADE 会干什么，运行不带 CASCADE 的 DROP 并阅读 DETAIL 输出）。本数据库中的几乎所有 DROP 命令都支持 CASCADE。当然，其本质的区别随着对象的类型而不同。...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
数据库代理常见问题
数据库代理地址（读写分离地址）可以修改，具体操作，请参见 设置数据库代理连接地址。主实例写的频率不高，能不能让读请求也发送给主实例？能。设置读权重分配时，为主实例也设置权重即可。如何为主实例设置权重，请参见 开通数据库代理。...
MySQL整库周期性增全量同步至Hive
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
DROP OWNED
DROP OWNED 用于删除当前数据库中被指定角色之...REASSIGN OWNED命令是另一种选择，它可以把一个或多个角色所拥有的所有数据库对象重新授予给其他角色。不过，REASSIGN OWNED 不处理其他对象的特权。角色所拥有的数据库、表空间将不会被移除。
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
数据组织优化
对于用户就是一直不执行Compaction操作的极端场景，引擎侧会做一些优化避免产生无限的历史记录，后台系统会周期性地对超过Time travel时间的BaseFile或者DeltaFile进行自动Compaction，后续就可以正常回收这些被Compaction的历史数据文件。
RDS MariaDB迁移至RDS PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将RDS MariaDB迁移至RDS PostgreSQL。前提条件 已创建源RDS MariaDB实例。具体操作，请参见 快速创建RDS MariaDB实例。已创建目标RDS PostgreSQL实例。具体操作，请参见 快速创建RDS ...
设置调度依赖最佳实践
可以通过项目配置，定义以什么形式开头的表为临时表。如果代码中的一个表，既是产出表又是被引用表（被依赖表），则解析时只解析为产出表。如果代码中的一个表，被多次引用或者被多次产出，则解析时只解析一个调度依赖关系。说明 默认情况...
DLA Lakehouse实时入湖
您需要在DTS中进行以下操作：说明 目前DLA中RDS数据源的入湖分析工作负载，会先利用RDS做数据的全量同步，然后依赖DTS数据订阅功能做增量同步，最终实现完整的RDS数据入湖。创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有...
公共规范
将出现大量空值和零值的统计汇总表，依据其空值和零值分布状况可以做适当的水平和垂直切分，以减少存储和下游的扫描数据量。空值处理原则 汇总类指标的空值：空值处理，填充为零，当前MaxCompute基于列存储的压缩技术不会由于填充大量空值...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
常见问题
为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响...
从Amazon Aurora PostgreSQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora PostgreSQL的数据迁移至阿里云（如RDS PostgreSQL和 PolarDB PostgreSQL版）。本文以Amazon Aurora PostgreSQL迁移至 RDS PostgreSQL 为例，为您介绍操作...
FTP Check节点
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
周期任务基本运维操作
运行周期任务 运行方式：发布至生产环境的任务将根据您定义的调度时间进行自动调度，您可在 运维中心>周期实例 页面查看任务周期调度执行结果，此外，您也可以在生产环境针对任务进行测试与补历史或未来一段时间数据的操作，并通过 补数据...
场景：节点孤立
执行补数据时，如果调度依赖关系中的中间任务（即依赖于上游节点，且存在下游依赖）不在补数据的周期范围内，则可能导致依赖该中间任务的下游节点孤立。示例场景：A、C为小时调度任务，每小时调度一次；B为天调度任务，每天 02：00 调度...
为什么会空跑
场景五：临时工作流中未被选择的实例 当补数据时，假设C节点依赖B节点，B节点依赖A节点，如果补数据选择补AC节点，则该B节点实例状态为 临时工作流中未被选择的实例。日调度任务空跑排查方法 如果是日调度任务请检查该节点的调度配置界面...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
未来规划
传统数据库架构依赖于高端硬件，每套数据库系统服务器少，架构相对简单，但无法支持新业务的扩展需求。云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台...
流式数据通道概述
提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据做进一步处理，已经支持数据聚合（Merge）：提升存储效率。应用场景 MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量事件日志实时写入...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
PolarDB MySQL版迁移至RDS MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至MySQL（包括自建MySQL和 RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版 除了支持迁移至 RDS MySQL 以外，还支持迁至以下类型的自建数据库。说明...
强弱依赖治理概述
强弱依赖治理就是通过科学的手段持续稳定地得到应用间依赖关系、流量、强弱等数据，提前发现因为依赖问题可能导致的故障，避免依赖故障影响用户体验，积累数据持续推进系统稳定性提升。什么是强弱依赖？异常发生时，不影响核心业务流程，不...
使用DTS将MongoDB Atlas数据库迁移至阿里云
DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。前提条件 建议阿里云MongoDB实例的存储空间比MongoDB Atlas数据库占用的存储空间大10%。注意事项 DTS在执行全...
使用DTS将MongoDB Atlas数据库迁移至阿里云
DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。前提条件 建议阿里云MongoDB实例的存储空间比MongoDB Atlas数据库占用的存储空间大10%。注意事项 DTS在执行全...
从Amazon RDS for PostgreSQL全量迁移至阿里云
数据库账号的权限要求 数据库 结构迁移 全量迁移 Amazon RDS for PostgreSQL pg_catalog的usage权限 迁移对象的select权限 阿里云RDS PostgreSQL 迁移对象的create、usage权限 schema的owner权限 全量数据迁移流程 为解决对象间的依赖，...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
管理数据集
即区分字段是维度还是度量，因此在SQL执行成功后，您可以对数据类型和可视化类型进行验证和调整（如将字段数据类型调整为国家、省份、城市等地理位置数据类型），也可以直接依赖推荐出的模型，进行下一步操作。单击 保存，完成数据集的创建...
什么是Dataphin
告警中心 为什么选择Dataphin Dataphin可以屏蔽不同计算与存储环境的差异，助您快速引入数据并规范化地构建数据。您可以通过规范建模自动开发数据，萃取以实体对象为中心的标签数据体系，沉淀业务数据知识、数据资产，治理数据问题。同时，...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
一键MaxCompute任务出错恢复
您可以在DataWorks 运维中心 的 查看周期实例 页面查看该全增量同步任务Merge实例的执行情况，如果Merge任务和全量补数据操作产生冲突，您可以：暂停全量补数据操作，等待Merge任务执行完成后，再执行全量补数据操作。冻结即将运行的Merge...
数据源管理
在数据源卡片页右上角可以做以下操作。单击修改时间，可以按 名称、修改时间 和 创建时间 对当前数据源进行排序。单击筛选，可以根据需要，筛选出特定数据源。单击搜索框，输入数据源名称，快速定位所需数据源。重命名数据源 登录 DataV...
- 产品推荐
- 这些文档可能帮助您