关联和管理依赖数据源
在依赖数据源页面添加依赖数据源后，您可以在服务方法的编排中使用关联的数据源的应用服务方法。本文介绍如何关联和管理关联数据源。关联和管理数据源 关联数据源 在 应用列表 页面，单击目标轻应用名称。在目标轻应用导航栏中，选择 服务...
应用评估
迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与改造难度进行的量化打分，分数越高说明迁移改部分的应用改造成本越低。说明 ...
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
配置同周期调度依赖
节点产出表删除：当自动解析的节点输出，由于节点产出表变更导致节点输出变更时，可能会导致下游变为 孤立节点 不被调度，或由于下游任务缺少数据依赖导致下游被数据污染。节点产出表变更：若当前节点产出的表需转移至其他节点，请参考 ...
MySQL整库周期性增全量同步至Hive
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
必读：复杂依赖场景调度配置原则与示例
挂载依赖：就近原则 2 DataWorks上任务一旦设置依赖，即表示上下游任务间存在数据依赖。无论下游任务定时运行时间为几点，均需等上游任务执行完成后，下游才满足可执行条件。依赖关系对任务执行的影响 3 您可通过具体场景示例，进一步理解...
概述
按时间点恢复：依赖数据备份+日志备份恢复数据，支持将数据恢复至备份时间范围内的 任意时间点（精确至秒）。例如，实例有2021年01月01日00:00:01的数据备份集以及该时间之后的日志，则可以恢复2021年01月01日00:00:01以来任意时间点（精确...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
DMS调度XIHE SQL
强依赖数据库内核：内核需要支持并开启事件调度器。受限单个数据库：只能针对单个数据库进行调度，无法与其他数据库或工具进行联动。难追踪：无法查看调度事件的执行状态、执行历史、运行时长等信息。难运维：无法对事件执行暂停、重跑等...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
DLA Lakehouse实时入湖
随着数据湖的应⽤越来越多，⼤家发现依赖数据湖最原始的能力，仅仅做简单的存储和分析，往往会遇到很多的问题。比较典型的痛点如下：多源头数据需要统⼀存储管理，并需要便捷的融合分析。源头数据元信息不确定或变化大，需要⾃动识别和管理...
DLF数据探索快速入门-淘宝用户行为分析
会提示开通OSS服务，以及授予DLF访问依赖数据源的权限。点击按钮完成OSS开通及授权。回到DLF控制台页面，点击刷新检查状态。页面自动跳转至DLF控制台主页面。开通完成后，进入 DLF控制台主页：第二步：在OSS中导入需要分析的数据 2.1 下载...
确认表血缘
开发环境确认上下游表数据依赖 您可进入上游节点的编辑界面，查看上游节点调度参数配置与节点代码详情。生产环境确认上下游表数据产出 跨空间依赖确认上游表血缘 若您需依赖其他工作空间的节点，可通过数据地图确认表数据每日写入情况。...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
调度依赖配置指引
方式一：自定义依赖关系 若DataWorks上任务间不存在强血缘依赖（例如，不强依赖上游某个分区数据，仅取上游当前时间点最大分区数据），或依赖的数据非周期调度节点产出的表数据（例如，本地上传的表数据），则您可自定义节点的依赖关系。...
任务运行诊断
上游任务对当前任务执行的影响如下：上游任务是否为成功状态，决定当前任务是否执行 节点依赖关系设置后，默认当前任务与当前任务依赖的上游存在数据依赖（即上游任务未执行，将导致当前节点依赖的上游数据未产出，当前节点执行会产生数据...
Streaming SQL作业配置
以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 ...
示例项目使用说明
依赖JAR包（lib目录下）：tutorial.jar：sample.pig作业需要的依赖JAR包。准备工作 本文提供了一些测试数据，您将其上传到OSS中即可使用。您还可以自行准备以下可选测试数据，例如，MaxCompute、MNS、ONS和LogService等。创建LogService，...
场景2：依赖上一周期的结果时，如何配置调度依赖
依赖上一周期和依赖本周期的区别：在运维中心中查看节点依赖关系时，所有跨周期依赖的节点都会以虚线的形式展示。下线节点时需要删除节点依赖关系，需要删除的依赖关系包括跨周期依赖（①）和同周期依赖（②）。您可以根据业务需求选择需要...
A/B测试报表
说明 目前OpenSearch对A/B Test进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，五个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也属于搜索请求）每...
业务运营报表
说明 目前OpenSearch对用户APP进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，Query分析指标，六个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
数据保护规则简介
说明 进行任意查询时，涉及的数据都可以用<数据库，数据表，数据列>来表示。只有当数据库、数据表、数据列都被一条规则中的 meta 数据匹配上时，数据才会按照规则中指定的算法进行处理。在设置数据保护规则时，您需要保证 不同规则作用的...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
MapReduce
Reduce Worker收到数据后依赖Key值再次对数据排序。Reduce阶段：每个Reduce Worker对数据进行处理时，采用与Combiner相同的逻辑，将Key值（Word值）相同的Count累加，得到输出结果。输出结果数据。说明 由于MaxCompute的所有数据都被存放在...
Cassandra数据建模
依赖集群的keyspace的副本策略以及集群的snitch策略，Cassandra将各个节点负责的primary key range复制到集群中其他节点，以提高分布式系统中数据可靠性以及服务可用性。每次读写在Cassandra中都会定义 ConsistencyLevel（也就是我们说的...
通过表单加工创建离线视图
自动解析 系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。说明 若自动解析的结果不符合预期，您可以单击 关闭生效按钮，关闭后表示不选择依赖该节点。默认本周期依赖。添加依赖 若 自动解析 无法解析出调度...
羲和分析计算引擎
极致性能是 AnalyticDB MySQL版 的核心竞争力之一。自2019年4月开始至今，AnalyticDB MySQL版 在世界权威机构测评的TPC-DS榜单中位居第一名，性价比是第二名的4倍，并且...利用数据模型中的范式依赖，数据数值类型等进行查询执行算法优化。
底纹报表
底纹引导搜索点赞数/引导搜索PV 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 衡量底纹引导点赞效果 引导搜索评论转化率 底纹引导搜索的评论转化率 底纹引导搜索评论数/引导搜索PV 依赖开通数据采集功能，并且...
新建行为关系
自动解析 系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。说明 若自动解析的结果不符合预期，您可以单击 关闭生效按钮，关闭后表示不选择依赖该节点。默认本周期依赖。添加依赖 若 自动解析 无法解析出调度...
热搜报表
热搜引导搜索点赞数/引导搜索PV 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 衡量热搜引导点赞效果 引导搜索评论转化率 热搜引导搜索的评论转化率 热搜引导搜索评论数/引导搜索PV 依赖开通数据采集功能，并且...
Druid 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
多可用区数据强一致
PolarDB MySQL版 支持多可用区数据强一致功能。相比半同步和异步的方式，数据强一致功能采用 一主一备一日志 的三节点架构，通过物理复制和X-Paxos协议相结合，具备更高的容灾能力，提供金融级的高可靠性。本文将为您介绍如何开启多可用区...
下拉提示报表
说明 目前OpenSearch对下拉提示进行的数据统计指标包括：核心指标，流量指标，点击指标，引导搜索指标，Query分析指标，五个维度：核心指标 指标名 定义 计算公式 依赖 意义 下拉提示PV 请求下拉提示且返回成功的次数，不包括返回错误的...
开发前准备：绑定数据源或集群
数据建模：执行相关依赖于数据源的建模任务，例如，模型开发、模型发布等。详情请参见 概述。管理数据源：设置默认数据源：若同类型数据源存在多个，则可设置某个数据源为默认数据源，设置后，后续开发任务默认首选使用该数据源。说明 当同...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
- 产品推荐
- 这些文档可能帮助您