应用评估
迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与改造难度进行的量化打分，分数越高说明迁移改部分的应用改造成本越低。说明 ...
确认表血缘
开发环境确认上下游表数据依赖 您可进入上游节点的编辑界面，查看上游节点调度参数配置与节点代码详情。生产环境确认上下游表数据产出 跨空间依赖确认上游表血缘 若您需依赖其他工作空间的节点，可通过数据地图确认表数据每日写入情况。...
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
关联和管理依赖数据源
在依赖数据源页面添加依赖数据源后，您可以在服务方法的编排中使用关联的数据源的应用服务方法。本文介绍如何关联和管理关联数据源。关联和管理数据源 关联数据源 在 应用列表 页面，单击目标轻应用名称。在目标轻应用导航栏中，选择 服务...
配置同周期调度依赖
节点产出表删除：当自动解析的节点输出，由于节点产出表变更导致节点输出变更时，可能会导致下游变为 孤立节点 不被调度，或由于下游任务缺少数据依赖导致下游被数据污染。节点产出表变更：若当前节点产出的表需转移至其他节点，请参考 ...
MySQL整库周期性增全量同步至Hive
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
任务运行诊断
上游任务对当前任务执行的影响如下：上游任务是否为成功状态，决定当前任务是否执行 节点依赖关系设置后，默认当前任务与当前任务依赖的上游存在数据依赖（即上游任务未执行，将导致当前节点依赖的上游数据未产出，当前节点执行会产生数据...
必读：复杂依赖场景调度配置原则与示例
挂载依赖：就近原则 2 DataWorks上任务一旦设置依赖，即表示上下游任务间存在数据依赖。无论下游任务定时运行时间为几点，均需等上游任务执行完成后，下游才满足可执行条件。依赖关系对任务执行的影响 3 您可通过具体场景示例，进一步理解...
常见问题
Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major compaction 周期默认为20天。例如，冷热分界...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
常见问题
为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响...
概述
按备份集恢复：依赖数据备份恢复数据，仅支持将数据恢复至数据备份的时刻。按时间点恢复：依赖数据备份+日志备份恢复数据，支持将数据恢复至备份时间范围内的 任意时间点（精确至秒）。例如，实例有2021年01月01日00:00:01的数据备份集以及...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
DMS调度XIHE SQL
云原生数据仓库AnalyticDB MySQL版 数仓版（3.0）和 湖仓版（3.0）都支持使用DMS的任务编排功能来编排、调度、管理和监控 AnalyticDB MySQL 任务。本文介绍如何通过DMS来进行任务开发与调度。背景信息 挑战和诉求：事件调度 传统的数据库...
产品优势
特性 Lindorm时序引擎 OpenTSDB 运维管控 服务可用性 99.9%需自行保障，自行搭建集群，自建组件依赖 数据可靠性 99.9999%需自行保障，自行搭建集群，自建组件依赖 软硬件投入 无软硬件投入，按需付费 数据库服务器成本相对较高 维护成本 ...
DLA Lakehouse实时入湖
您需要在DTS中进行以下操作：说明 目前DLA中RDS数据源的入湖分析工作负载，会先利用RDS做数据的全量同步，然后依赖DTS数据订阅功能做增量同步，最终实现完整的RDS数据入湖。创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有...
DLF数据探索快速入门-淘宝用户行为分析
DLF产品（数据湖构建）提供数据发现和数据探索的功能，本文介绍如何通过DLF完成对淘宝用户行为样例的分析。操作流程 服务开通：开通阿里云账号及DLF和OSS相关服务。样例数据集下载和导入：下载样例数据（csv文件），并上传至OSS。DLF数据...
导入发布包
依赖数据不存在 导入的对象所依赖的数据不存在时，可选择强制发布或发布错误。强制发布：忽视依赖，直接发布到当前目标环境。后续需要编辑或解决依赖问题后才可以正常校验。发布报错：依赖对象不存在时，监控对象发布报错，需要解决依赖...
数据服务
为什么数据服务无法连接ECS自建的数据库？是否必须开通API网关？如何配置数据源？数据服务是否支持MaxCompute（ODPS）数据源？向导模式生成API与脚本模式有何功能差异？数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？...
离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。重要 本操作为Java语言的SDK客户端示例，Python和Go语言的示例代码，请...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
强弱依赖治理概述
强弱依赖治理就是通过科学的手段持续稳定地得到应用间依赖关系、流量、强弱等数据，提前发现因为依赖问题可能导致的故障，避免依赖故障影响用户体验，积累数据持续推进系统稳定性提升。什么是强弱依赖？异常发生时，不影响核心业务流程，不...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
Streaming SQL作业配置
以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 ...
依赖关系
为什么要设置调度依赖 配置调度依赖后，可保障调度任务在运行时能取到正确的数据（当前节点依赖的上游节点成功运行后，DataWorks通过节点运行的状态识别到上游表的最新数据已产生，此时，下游节点再去取数）。避免下游节点取数据时，上游表...
常见问题
Redis CSRF漏洞分析及云数据库Redis版安全措施介绍 云数据库Redis集群版与原生Redis集群版有什么区别？网络与连接 如何获取Redis实例的连接地址和实例ID 如何通过redis-cli连接Redis 云数据库Redis版支持Jedis等通用的Redis客户端吗？连接...
场景2：依赖上一周期的结果时，如何配置调度依赖
依赖上一周期和依赖本周期的区别：在运维中心中查看节点依赖关系时，所有跨周期依赖的节点都会以虚线的形式展示。下线节点时需要删除节点依赖关系，需要删除的依赖关系包括跨周期依赖（①）和同周期依赖（②）。您可以根据业务需求选择需要...
A/B测试报表
说明 目前OpenSearch对A/B Test进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，五个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也属于搜索请求）每...
业务运营报表
说明 目前OpenSearch对用户APP进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，Query分析指标，六个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也...
外部数据
不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程数据可能需要在外部数据源的授权。这些信息通过一个用户映射提供，它基于当前的本数据库角色提供了...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
MapReduce
Reduce Worker收到数据后依赖Key值再次对数据排序。Reduce阶段：每个Reduce Worker对数据进行处理时，采用与Combiner相同的逻辑，将Key值（Word值）相同的Count累加，得到输出结果。输出结果数据。说明 由于MaxCompute的所有数据都被存放在...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
羲和分析计算引擎
极致性能是 AnalyticDB MySQL版 的核心竞争力之一。自2019年4月开始至今，AnalyticDB MySQL版 在世界权威机构测评的TPC-DS榜单中位居第一名，性价比是第二名的4倍，并且...利用数据模型中的范式依赖，数据数值类型等进行查询执行算法优化。
底纹报表
底纹引导搜索点赞数/引导搜索PV 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 衡量底纹引导点赞效果 引导搜索评论转化率 底纹引导搜索的评论转化率 底纹引导搜索评论数/引导搜索PV 依赖开通数据采集功能，并且...
- 产品推荐
- 这些文档可能帮助您