确认表血缘
开发环境确认上下游表数据依赖 您可进入上游节点的编辑界面，查看上游节点调度参数配置与节点代码详情。生产环境确认上下游表数据产出 跨空间依赖确认上游表血缘 若您需依赖其他工作空间的节点，可通过数据地图确认表数据每日写入情况。...
任务运行诊断
上游任务对当前任务执行的影响如下：上游任务是否为成功状态，决定当前任务是否执行 节点依赖关系设置后，默认当前任务与当前任务依赖的上游存在数据依赖（即上游任务未执行，将导致当前节点依赖的上游数据未产出，当前节点执行会产生数据...
MySQL整库周期性增全量同步至Hive
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
DMS调度XIHE SQL
云原生数据仓库AnalyticDB MySQL版 数仓版（3.0）和 湖仓版（3.0）都支持使用DMS的任务编排功能来编排、调度、管理和监控 AnalyticDB MySQL 任务。本文介绍如何通过DMS来进行任务开发与调度。背景信息 挑战和诉求：事件调度 传统的数据库...
2023年
事务管理 2023-06-26 新增TimeTravel 新说明 基于Transactional Table 2.0，计算引擎可高效支持 TimeTravel查询 的典型业务场景，即查询历史版本的数据，可用于回溯历史状态的业务数据，或数据出错时，用来恢复历史状态数据进行数据纠正，...
Druid 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
应用评估
迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与改造难度进行的量化打分，分数越高说明迁移改部分的应用改造成本越低。说明 ...
使用pg_restore恢复逻辑备份文件数据
对于大量的数据，建议您使用全量物理备份来恢复数据到新的实例中，然后通过数据传输服务DTS将数据 迁移回原有实例。更多数据恢复方案，请参见 恢复方案概览。前提条件 已 逻辑备份PostgreSQL数据。注意事项 恢复数据时连接的数据库建议不要...
数据开发：开发者
建议您根据血缘关系来设置节点依赖，通过上游任务执行成功来确定当前节点依赖的表数据已顺利产出，当前节点可正常查询该上游表数据。说明 若当节点查询（即使用 select 语句）非DataWorks调度节点产出的表数据，您可选择 自动解析 为否，并...
多可用区部署
云原生多模数据库 Lindorm 支持创建多可用区的实例。该方案将一个Lindorm实例部署在多个可用区，多可用区实例具备更高的容灾能力，同时Lindorm实例可以实现多个可用区之间数据的强一致，也可以在数据最终一致下发出请求返回最快的结果，...
依赖跟踪
我们也可以用 RESTRICT 代替 CASCADE 来获得默认行为，它将阻止删除任何被其他对象依赖的对象。说明 根据 SQL 标准，在 DROP 命令中指定 RESTRICT 或 CASCADE 是被要求的。但没有哪个数据库系统真正强制了这个规则，但是不同的系统中两种...
天任务依赖分钟任务最佳实践
每天00:00执行的SQL任务为天任务，依赖于每5分钟抽取一次数据的分钟任务。天任务会对当天同步任务抽取的所有数据进行计算。前提条件 开始本实验前，您需要首先准备好以下内容：请确保已拥有阿里云账号并进行实名认证，详情请参见 开通...
从修改的行中返回数据
本文介绍了如何从修改的行中返回数据。简介 有时在修改行的操作过程中获取数据很有用。INSERT、UPDATE 和 DELETE 命令都有一个支持这个的可选的 RETURNING 子句。使用 RETURNING 可以避免执行额外的数据库查询来收集数据，并且在否则难以...
新建数据元
用“教育水平”这个数据元来统一描述人的受教育程度或者文化水平等类似的概念。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
新建数据元
用“教育水平”这个数据元来统一描述人的受教育程度或者文化水平等类似的概念。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 ...
Proxool 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Proxool 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 proxool-mysql-client 示例工程 前提条件 您已安装 OceanBase ...
增强E-R
数据管理DMS 的增强E-R功能基于DMS自研的统一Catalog的元数据采集引擎、列算子血缘解析引擎（解析字段间关联、依赖和影响关系的引擎）和数据资产知识图谱构建等核心能力，可清晰地展现您名下某个数据库内资产之间的关联关系。本文介绍了...
无锁结构变更方案对比
代码的复杂性依赖缜密的算法逻辑，完善的测试用例集来保证健壮性和稳定性。但是相比之下，它带来了更多的好处，比如可以指定时间切表、拷贝或者增量流量控制等一些额外的功能。DMS无锁结构变更与gh-ost工具对比 DMS无锁结构变更与同样采用...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
应用强弱依赖治理
应用强弱依赖治理提供应用层面的强弱依赖关系分析。用户可以选择单个治理应用，查看其依赖分析，并根据依赖验证结果操作演练，完成依赖治理，治理周期为30天。本文介绍应用强弱依赖治理的操作步骤。前提条件 需要安装探针才能识别到应用，...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
强弱依赖治理概述
依赖治理就是通过科学的手段持续稳定地拿到应用间依赖关系、流量、强弱等数据，将此数据用于系统改造、故障决策等场景。强弱依赖治理方案 强弱依赖治理每次选中1个应用进行治理，以30天为治理周期。强弱依赖治理主要包含以下步骤：应用接入...
客户端使用说明
本文介绍如何通过客户端使用全密态数据库功能。前提条件 已开通全密态数据库。更多信息，请参见 开通全密态数据库。已定义敏感数据。具体操作，请参见 定义敏感数据。本文使用的测试表 price，miles，secret 为敏感数据列 CREATE TABLE ...
客户端使用说明
本文介绍如何通过客户端使用全密态数据库功能。前提条件 已开通全密态数据库。更多信息，请参见 开通全密态数据库。已定义敏感数据。具体操作，请参见 定义敏感数据。本文使用的测试表 price，miles，secret 为敏感数据列 CREATE TABLE ...
客户端使用说明
本文介绍如何通过客户端使用全密态数据库功能。前提条件 已开通全密态数据库。更多信息，请参见 开通全密态数据库。已定义敏感数据。具体操作，请参见 定义敏感数据。本文使用的测试表 price，miles，secret 为敏感数据列 CREATE TABLE ...
Tomcat 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Tomcat 连接池、OceanBase Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 tomcat-mysql-client 示例工程 前提条件 您已安装 OceanBase...
EncDB SDK
如果您希望使用全密态功能对数据库表中的被保护数据列进行加密，并且使用Java应用程序访问数据库，可以使用全密态客户端Java SDK模块EncDB SDK接入全密态数据库，接入操作便捷，能够降低使用全密态功能的成本。本文介绍如何通过EncDB SDK...
创建业务流程
背景信息 DataWorks的数据开发功能支持在业务流程中，通过可视化拖拽来完成节点间的依赖设置。您可以通过操作业务流程的方式，实现对数据的处理和相互依赖。一个工作空间下支持创建多个业务流程，详情请参见 创建业务流程。创建业务流程 ...
配置同周期调度依赖
节点产出表删除：当自动解析的节点输出，由于节点产出表变更导致节点输出变更时，可能会导致下游变为 孤立节点 不被调度，或由于下游任务缺少数据依赖导致下游被数据污染。节点产出表变更：若当前节点产出的表需转移至其他节点，请参考 ...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
关联和管理依赖数据源
在依赖数据源页面添加依赖数据源后，您可以在服务方法的编排中使用关联的数据源的应用服务方法。本文介绍如何关联和管理关联数据源。关联和管理数据源 关联数据源 在 应用列表 页面，单击目标轻应用名称。在目标轻应用导航栏中，选择 服务...
规划器使用的统计信息
评估所有列组之间的依赖程度可能会昂贵到不可实现，因此数据收集被限制为针对那些在一个统计信息对象中一起出现的列组（用 dependencies 选项定义）。建议只对强相关的列组创建 dependencies 统计信息，以避免 ANALYZE 以及后期查询规划中...
必读：复杂依赖场景调度配置原则与示例
挂载依赖：就近原则 2 DataWorks上任务一旦设置依赖，即表示上下游任务间存在数据依赖。无论下游任务定时运行时间为几点，均需等上游任务执行完成后，下游才满足可执行条件。依赖关系对任务执行的影响 3 您可通过具体场景示例，进一步理解...
Microsoft Azure Database for MySQL数据库迁移到阿里...
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
- 产品推荐
- 这些文档可能帮助您