应用评估
迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与改造难度进行的量化打分，分数越高说明迁移改部分的应用改造成本越低。说明 ...
确认表血缘
开发环境确认上下游表数据依赖 您可进入上游节点的编辑界面，查看上游节点调度参数配置与节点代码详情。生产环境确认上下游表数据产出 跨空间依赖确认上游表血缘 若您需依赖其他工作空间的节点，可通过数据地图确认表数据每日写入情况。...
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
关联和管理依赖数据源
在依赖数据源页面添加依赖数据源后，您可以在服务方法的编排中使用关联的数据源的应用服务方法。本文介绍如何关联和管理关联数据源。关联和管理数据源 关联数据源 在 应用列表 页面，单击目标轻应用名称。在目标轻应用导航栏中，选择 服务...
配置同周期调度依赖
节点产出表删除：当自动解析的节点输出，由于节点产出表变更导致节点输出变更时，可能会导致下游变为 孤立节点 不被调度，或由于下游任务缺少数据依赖导致下游被数据污染。节点产出表变更：若当前节点产出的表需转移至其他节点，请参考 ...
MySQL整库周期性增全量同步至Hive
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
任务运行诊断
上游任务对当前任务执行的影响如下：上游任务是否为成功状态，决定当前任务是否执行 节点依赖关系设置后，默认当前任务与当前任务依赖的上游存在数据依赖（即上游任务未执行，将导致当前节点依赖的上游数据未产出，当前节点执行会产生数据...
必读：复杂依赖场景调度配置原则与示例
挂载依赖：就近原则 2 DataWorks上任务一旦设置依赖，即表示上下游任务间存在数据依赖。无论下游任务定时运行时间为几点，均需等上游任务执行完成后，下游才满足可执行条件。依赖关系对任务执行的影响 3 您可通过具体场景示例，进一步理解...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
概述
按备份集恢复：依赖数据备份恢复数据，仅支持将数据恢复至数据备份的时刻。按时间点恢复：依赖数据备份+日志备份恢复数据，支持将数据恢复至备份时间范围内的 任意时间点（精确至秒）。例如，实例有2021年01月01日00:00:01的数据备份集以及...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
DMS调度XIHE SQL
云原生数据仓库AnalyticDB MySQL版 数仓版（3.0）和 湖仓版（3.0）都支持使用DMS的任务编排功能来编排、调度、管理和监控 AnalyticDB MySQL 任务。本文介绍如何通过DMS来进行任务开发与调度。背景信息 挑战和诉求：事件调度 传统的数据库...
产品优势
特性 Lindorm时序引擎 OpenTSDB 运维管控 服务可用性 99.9%需自行保障，自行搭建集群，自建组件依赖 数据可靠性 99.9999%需自行保障，自行搭建集群，自建组件依赖 软硬件投入 无软硬件投入，按需付费 数据库服务器成本相对较高 维护成本 ...
DLA Lakehouse实时入湖
您需要在DTS中进行以下操作：说明 目前DLA中RDS数据源的入湖分析工作负载，会先利用RDS做数据的全量同步，然后依赖DTS数据订阅功能做增量同步，最终实现完整的RDS数据入湖。创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有...
DLF数据探索快速入门-淘宝用户行为分析
DLF产品（数据湖构建）提供数据发现和数据探索的功能，本文介绍如何通过DLF完成对淘宝用户行为样例的分析。操作流程 服务开通：开通阿里云账号及DLF和OSS相关服务。样例数据集下载和导入：下载样例数据（csv文件），并上传至OSS。DLF数据...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
Streaming SQL作业配置
以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 ...
场景2：依赖上一周期的结果时，如何配置调度依赖
依赖上一周期和依赖本周期的区别：在运维中心中查看节点依赖关系时，所有跨周期依赖的节点都会以虚线的形式展示。下线节点时需要删除节点依赖关系，需要删除的依赖关系包括跨周期依赖（①）和同周期依赖（②）。您可以根据业务需求选择需要...
A/B测试报表
说明 目前OpenSearch对A/B Test进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，五个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也属于搜索请求）每...
业务运营报表
说明 目前OpenSearch对用户APP进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，Query分析指标，六个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
MapReduce
Reduce Worker收到数据后依赖Key值再次对数据排序。Reduce阶段：每个Reduce Worker对数据进行处理时，采用与Combiner相同的逻辑，将Key值（Word值）相同的Count累加，得到输出结果。输出结果数据。说明 由于MaxCompute的所有数据都被存放在...
Cassandra数据建模
依赖集群的keyspace的副本策略以及集群的snitch策略，Cassandra将各个节点负责的primary key range复制到集群中其他节点，以提高分布式系统中数据可靠性以及服务可用性。每次读写在Cassandra中都会定义 ConsistencyLevel（也就是我们说的...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
羲和分析计算引擎
极致性能是 AnalyticDB MySQL版 的核心竞争力之一。自2019年4月开始至今，AnalyticDB MySQL版 在世界权威机构测评的TPC-DS榜单中位居第一名，性价比是第二名的4倍，并且...利用数据模型中的范式依赖，数据数值类型等进行查询执行算法优化。
底纹报表
底纹引导搜索点赞数/引导搜索PV 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 衡量底纹引导点赞效果 引导搜索评论转化率 底纹引导搜索的评论转化率 底纹引导搜索评论数/引导搜索PV 依赖开通数据采集功能，并且...
热搜报表
热搜引导搜索点赞数/引导搜索PV 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 衡量热搜引导点赞效果 引导搜索评论转化率 热搜引导搜索的评论转化率 热搜引导搜索评论数/引导搜索PV 依赖开通数据采集功能，并且...
下拉提示报表
说明 目前OpenSearch对下拉提示进行的数据统计指标包括：核心指标，流量指标，点击指标，引导搜索指标，Query分析指标，五个维度：核心指标 指标名 定义 计算公式 依赖 意义 下拉提示PV 请求下拉提示且返回成功的次数，不包括返回错误的...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
使用pg_restore恢复逻辑备份文件数据
恢复指定表数据时不会尝试还原指定表可能依赖的数据库对象，因此无法保证将指定表还原到干净的数据库时一定会成功。恢复数据库 登录已备份数据的ECS实例或本地主机，使用如下命令恢复数据。pg_restore-h '<hostname>'-U<username>-p<port>-...
临时查询
临时查询主要针对即席查询（Ad Hoc）的场景，面向数据科学家和数据分析师，其主要使用工具为SQL。运行临时查询作业时，将会在页面下方显示日志和查询结果。本文为您介绍如何在临时查询页面新建作业、设置作业、运行作业和编辑锁操作。背景...
冷热数据分层存储
不依赖冷热数据存储规则。背景知识 热数据：访问频次较高的数据，存储在热数据盘（即创建集群时所选的ESSD云盘或高效云盘）中，满足高性能访问的需求。冷数据：访问频次较低的数据，存储在较低价的冷数据盘中，满足高性价比的存储需求。...
任务运行成功没有数据
没有依赖产出该上游表数据的节点任务。有依赖产出表的节点，但是依赖的节点产生的表分区不是想要的，那就说明依赖的周期不对，可以在周期实例参数配置及日志详情里面查看一天的实例上下游参数替换情况。请重新设置节点依赖关系 查看上下游...
- 产品推荐
- 这些文档可能帮助您