通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。InputList String 否 project_root,project.file1,project.001_out 文件依赖的上游文件的输出名称。...
数据源权限管理
一个数据源分享给目标用户后，源数据源可以控制分享关系，随时解除分享，且无需检查已分享数据源的任务依赖情况。一个数据源以 可编辑 模式分享给目标用户后，如果目标用户执行 取消分享 操作，会检查该分享数据源的任务依赖情况。如果有...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
依赖关系
如果下游节点同时配置上了依赖多个任务，是否需要依赖所有节点需要您进行业务判断，如果表数据有强相关依赖的，建议将所有节点都设置上依赖关系。节点是否需要设置依赖关系，请参考 为什么要设置调度依赖 例如，下游节点C同时依赖日调度...
配置依赖上一周期（跨周期依赖）
通常，若本节点需依赖上游昨天产出的数据，或小时、分钟任务依赖自己上一小时或分钟实例，可设置跨周期依赖。本文为您介绍跨周期依赖的配置及依赖形式。注意事项 配置依赖上一周期的注意事项如下。类别 描述 相关参考 跨周期依赖图例展示 ...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
持久内存型
单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
持久内存型
单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建Tair实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
数据资产定级
通过给这些应用业务划分数据资产等级，结合数据的上下游依赖关系，将整个链路打上某一类资产等级的标签。在本教程中，互联网在线运营分析平台只存在一个应用，统计并展现网站的PV和UV，并能够按照用户的终端类型和地域进行统计，命名为PV_...
配置离线任务调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍调度依赖实现流程与主要配置原则。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务节点运行...
配置离线任务调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍调度依赖实现流程与主要配置原则。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务节点运行...
数据资产定级
通过给这些应用业务划分数据资产等级，结合数据的上下游依赖关系，将整个链路打上某一类资产等级的标签。在本教程中，互联网在线运营分析平台只存在一个应用，统计并展现网站的PV和UV，并能够按照用户的终端类型和地域进行统计，命名为PV_...
数据集市
通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务分类。背景信息 数据集市是对某个业务分类制定细化的业务主题，...
代码解析结果对比
如何确认是否使用新的解析结果 节点提交时，若发现节点当前调度依赖解析与生产环境节点调度依赖关系配置存在差异，请确认该节点当前的调度依赖是否符合业务需要，避免由于依赖关系变更导致产出数据出现问题。说明 若当前节点存在众多下游...
概述
基础版和高性能版Spark全密态计算引擎的对比如下：版本 密态数据的格式 性能（对比开源社区Spark）兼容性（对比开源社区Spark）工具依赖 密钥机制 基础版 EncBlocksSource格式 0.5倍 SQL语法兼容 数据格式不兼容 依赖Spark提供的客户端工具...
创建Kudu数据源
Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的Hadoop处理引擎（MapReduce，Spark，Impala）。Kudu将数据按照列存储格式，存储在底层Linux文件系统中。Kudu适用HTAP场景（例如物联网），对于数据处理系统的复杂性提出了更高的...
SDK概述
说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持...
执行补数据并查看补数据实例（新版）
如果工作空间的任务为本次补数据的中间任务（即该任务的上下游依赖在此次补数据范围内），为保障下游任务运行，该任务将空跑（不会真实执行，任务启动运行后立即返回成功状态），可能导致该任务的下游任务数据产出异常，请谨慎操作。...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
周期任务补数据
上游依赖的任务重跑或补数据导致历史分区数据刷新。您可以通过补数据功能，回刷下游任务的历史分区数据。业务的历史数据存在遗漏，需要定时回刷历史数据。补数据模式 当前，运维中心补数据功能支持对当前任务和对当前任务及下游任务进行补...
周期任务补数据
上游依赖的任务重跑或补数据导致历史分区数据刷新。您可以通过补数据功能，回刷下游任务的历史分区数据。业务的历史数据存在遗漏，需要定时回刷历史数据。补数据模式 当前，运维中心补数据功能支持对当前任务和对当前任务及下游任务进行补...
产品服务等级协议
（3）任何数据资源平台以外原因引起的，比如：由数据资源平台所依赖的上下游软件产品故障或配置调整引起的；数据同步模块中由于源端数据库或目的端数据库自身原因导致的；数据同步模块中，由于源端数据库或者目的端数据库用户名、密码修改...
Oracle同步至Tablestore
说明 数据输出预览强依赖Oracle来源的 数据采样，在执行数据输出预览前需要先在Oracle来源表单中完成数据采样。配置Tablestore去向信息。单击页面上方的 Tablestore，编辑Tablestore去向源信息。配置基本信息。选择要写入的Tablestore目标...
什么是云数据库Redis版
数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。磁盘型：基于ESSD与SSD研发，兼容Redis核心数据结构与接口，成本最低为Redis社区版的15%，性能约为Redis社区版的60%。可...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
CreateTask-创建任务流任务
SQL，仅支持 SELECT 语句，且默认返回最大行数为 30*",/sql 语句"dbType":"lindorm_cql"/数据库类型 } 依赖检查 DagId NodeName NodeType:2 NodeParam GraphParam NodeContent:样例如下 {"dependentDAGId":132,/依赖项：任务流...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
Kafka单表实时入湖OSS（HUDI）
说明 数据输出预览强依赖Kafka来源的 数据采样，在执行数据输出预览前需要先在Kafka来源表单中完成数据采样。配置OSS去向信息。单击页面上方的 OSS，编辑OSS去向源信息。配置基本信息。目标元数据库类型：如果您当前账号下开通了DLF产品，...
公共规范
避免应用层过度引用和依赖CDM层明细数据，需要针对性地建设好CDM公共汇总层。MaxCompute项目分配 按实际需求分配不同的ODS和CDM项目。一个ODS层项目对应一个CDM项目。例如：ODS层项目，按业务部门的粒度建立。CDM层项目，按业务部门的粒度...
数据订阅SDK容灾
这个机制依赖于SDK消费数据时，向DTS中控节点实时汇报消费时间点。本小节简单介绍如何使用DTS提供的SDK容灾机制。要求 SDK消费代码中，每消费一个message要调用一次ackAsConsumed，向DTS汇报消费时间点。同一个订阅通道至少启动2个SDK下游...
Kafka实时ETL同步至Hologres
说明 数据输出预览强依赖Kafka来源的 数据采样，在执行数据输出预览前需要先在Kafka来源表单中完成数据采样。配置Hologres去向信息。单击页面上方的 Hologres，编辑Hologres去向源信息。配置基本信息。选择要写入的Hologres schema。选择要...
相比OpenTSDB优势
OpenTSDB是可扩展的分布式时序数据库，底层依赖HBase。作为基于通用存储开发的时序数据库典型代表，起步比较早，在时序市场的认可度相对较高。阿里云智能TSDB高度兼容OpenTSDB协议，采用自研的索引，数据模型，流式聚合等技术手段提供更...
周期任务基本运维操作
紧急运维操作：任务未运行场景下，支持您紧急去除未运行的上游依赖，以及出现数据污染时强制重跑下游等操作。管理周期任务 任务上线与下线 上线周期任务：任务需要通过发布流程发布至生产调度系统后，您才可以在运维中心的周期任务列表中...
Db2 for LUW迁移至RDS MySQL
说明 如果使用了对象名映射功能，可能会导致数据不一致或依赖这个对象的其他对象迁移失败。例如，使用列映射时是非全表迁移或表结构不一致，则目标端比源端缺少的列的数据将会丢失。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待...
- 产品推荐
- 这些文档可能帮助您