2021年功能发布记录
开通服务 授予函数计算访问其他云服务的权限 2021年01月 功能名称 变更类型 功能描述 相关文档 层管理 新增 函数计算新增层管理功能，您可以将函数依赖的公共库提炼到层，以减少部署、更新时的代码包体积，也可以将自定义的Runtime以层部署...
查看版本
inputList output outputList dependentTypeList 节点设置的上一周期依赖类型，取值如下：0：未勾选任何选项。1：其他节点。2：一级子节点。3：本节点。详情请参见 配置依赖上一周期（跨周期依赖）。dependentDataNode 自定义的上一周期...
使用CreateCluster API创建集群
DATALAKE（数据湖）依赖类型 必填应用配置参数 说明 应用选择OSS-HDFS[{"ApplicationName":"OSS-HDFS","ConfigFileName":"common.conf","ConfigItemKey":"OSS_ROOT_URI","ConfigItemValue":"${OSS_ROOT_URI}","ConfigScope":"CLUSTER"}]...
常见问题
对于内部表，所有的数据都存储在MaxCompute中，表中列的数据类型可以是MaxCompute支持的任意一种数据类型。对于外部表，MaxCompute并不真正持有数据，表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息，您可以通过...
平台资源管理概述
本文介绍在使用BizWorks过程中所需的资源，以及BizWorks不同类型应用的资源依赖。资源概述 在开发BizWorks应用过程中所需的资源如下：资源 描述 容器集群 平台级资源。将多云、异构的容器集群进行统一纳管，从而帮助中心应用、托管应用屏蔽...
场景：节点孤立
孤立节点指节点在 周期任务 或 周期实例 处展开父节点时，没有依赖任何父节点，这类型节点在自动调度时不会被调起，所以孤立节点不会自动调度运行，如果该孤立节点下游依赖较多，可能会造成比较严重的后果。孤立节点产生后会自动报警，如果...
删除表
包括CASCADE CONSTRAINTS子句来指定PolarDB删除所指定的表上的依赖限制（不包括其它对象类型）。示例 删除表emp：DROP TABLE emp;执行DROP TABLE命令会产生不同的结果，这主要取决于表是否有任何依赖关系。您可以通过指定删除行为来控制...
调度依赖配置指引
方式二：基于血缘配置依赖关系 由于节点依赖关系配置后，默认节点的上下游产出表存在强依赖关系（即下游表数据的产出需要依赖上游产出的表数据），因此，任务在配置调度依赖时，需确认是否存在强血缘依赖，即确认当前任务是否会因为上游...
配置参数说明
依赖类型 该依赖节点的类型，分类场景节点依赖和自定义节点依赖。所属工作区 该依赖节点的所属工作区。场景名称/工作流 该依赖节点的类型，分类场景节点依赖和自定义节点依赖。节点名称 选择的依赖节点的名称。生成方式 依赖节点生成方式。...
运维中心概述
依赖的所有父节点实例状态都为成功状态 配置节点依赖关系可以保障节点在运行时能取到正确的数据（读取上游表数据时，上游表的最新数据已产生），避免当前节点读取数据时，上游表数据还未产出，导致当前节点读取数据出现问题，所以，当节点...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统...增量数据处理 Hudi支持Incremental Query查询类型，您可以通过Spark Streaming查询给定COMMIT后发生变更的数据。Hudi提供了一种消费HDFS变化数据的能力，可以用来优化现有的系统架构。
基本概念
元数据 元数据是数据的描述数据，可以为数据说明其属性（名称、大小、数据类型等），或结构（字段、类型、长度等），或其相关数据（位于何处、拥有者、产出任务、访问权限等）。DataWorks中元数据主要指库、表相关的信息，元数据管理对应的...
Python计算型
code.zip 压缩包，云开发平台只认项目根目录的 code.zip 压缩包进行部署 requirements.txt 配置项目依赖文件（如果有）如果项目有依赖，则需要打开 CloudIDE 的「终端」输入以下命令进行安装，否则可以忽略此文件和下面的安装步骤 ...
功能特性
支持任务之间的依赖关系配置 可以设置任务的前置依赖和后置依赖，确保任务按照正确的顺序执行。支持任务参数的灵活配置 用户可以根据具体需求设置任务的参数，如数据源配置、目标数据表配置等。支持数据质量检验和控制 可以设置数据质量...
创建Terraform类型模板
资源编排服务为Terraform提供了托管的能力，您可以创建Terraform类型的模板，定义阿里云、AWS或Azure资源，配置资源参数和资源间的依赖关系。应用场景 如果您希望在阿里云平台上创建并管理多云平台（AWS、Azure等）的资源，您可以在模板中...
逻辑表运行参数配置
若需要批量修改参数类型，可以单击 修改参数类型 进行批量修改。参数值 全局变量：默认为全局变量所定义的变量值，不支持设置。更多信息，请参见 新建全局变量。空间名称变量：参数值即为空间名称，不支持设置。本地变量：最长支持256位...
逻辑表运行参数配置
若需要批量修改参数类型，可以单击 修改参数类型 进行批量修改。参数值 全局变量：默认为全局变量所定义的变量值，不支持设置。更多信息，请参见 新建全局变量。空间名称变量：参数值即为空间名称，不支持设置。本地变量：最长支持256位...
管理数据质量待发布对象
说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，最后在进行发布数据质量对象，否则可能导致发布失败。规则模板 待发布对象 规则模板待发布对象页面主要由搜索及筛选区、规则模板对象列表、批量操作组成。各...
管理数据质量待发布对象
说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，最后在进行发布数据质量对象，否则可能导致发布失败。规则模板 待发布对象 规则模板待发布对象页面主要由搜索及筛选区、规则模板对象列表、批量操作组成。各...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
调度依赖场景规则与示例
如果需要实现下游2点的实例依赖上游1点的实例，可以通过配置下游任务依赖上游任务的上周期实现（默认下游任务2点的实例依赖上游任务2点的实例，设置为依赖上周期之后，即依赖上游任务2点实例的上周期，也就是1点实例，以实现下游任务2点的...
调度依赖场景规则与示例
如果需要实现下游2点的实例依赖上游1点的实例，可以通过配置下游任务依赖上游任务的上周期实现（默认下游任务2点的实例依赖上游任务2点的实例，设置为依赖上周期之后，即依赖上游任务2点实例的上周期，也就是1点实例，以实现下游任务2点的...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。...后续步骤 完成逻辑表调度属性配置后，下一步您可以配置逻辑表的上游依赖。更多信息，请参见：配置逻辑表上游依赖。
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。...后续步骤 完成逻辑表调度属性配置后，下一步您可以配置逻辑表的上游依赖。更多信息，请参见：配置逻辑表上游依赖。
任务类型
1.背景 一个作业（Job）由一组任务（Task）及其依赖关系组成，每个任务可以有一个或多个执行实例（Instance）。具体详情看 名词解释。目前的任务类型分为两种：并发任务和 DAG(Directed Acyclic Graph)任务。2.任务概述 2.1 并发任务 ...
数据类型
禁用类型可以通过CAST函数强制进行数据类型转换。VARCHAR类型常量可以通过隐式转换为STRING常量。表、函数以及UDF 参数涉及2.0数据类型的内置函数，在2.0数据类型版本下可以正常使用。UDF包含的数据类型都会按照2.0数据类型进行解析重载。...
泛化调用
由于没有依赖服务端的API JAR包，传入的参数如果是自定义的DTO，需要转成客户端可以序列化的 Map 类型。调用方法和参数说明 方法没有入参，可以只传：methodName:service.$invoke("sayHello",null,null)。方法类型有泛型的，例如 List，只...
泛化调用
由于没有依赖服务端的API JAR包，传入的参数如果是自定义的DTO，需要转成客户端可以序列化的 Map 类型。调用方法和参数说明 方法没有入参，可以只传：methodName:service.$invoke("sayHello",null,null)。方法类型有泛型的，例如 List，只...
智能合约简介
说明 Tips：在阿里云BaaS的控制台上，用户可以直接完成链码的上传、安装、实例化等操作，不需要依赖命令行来完成。链码类型 在 Hyperledger Fabric 中，链码一般分为：系统链码 用户链码 系统链码 系统链码负责 Fabric 节点自身的处理逻辑...
DROP TABLE
包含 CASCADE CONSTRAINTS 子句可指定 PolarDB PostgreSQL版（兼容Oracle）应删除所指定表的所有依赖约束（不包括其他对象类型）。示例 以下命令删除名为 emp、没有依赖项的表：DROP TABLE emp;DROP TABLE 命令的结果会有所不同，这取决于...
DEPENDENT
添加依赖 需要判断的依赖任务，可以是某一个项目中的工作流具体的任务执行情况。依赖失败策略 失败（默认）：依赖的上游工作流失败后，当前任务会立即标记为失败。等待：依赖的上游工作流失败后，当前任务不会立即失败，而是保持等待状态，...
SubmitServerlessJob-提交Serverless作业
10 Type string 否 依赖类型。取值范围：AfterSucceeded：所依赖作业或数组作业 所有子任务运行成功（退出码为 0）。AfterFailed：所依赖作业或数组作业 任一子任务运行失败（退出码非 0）。AfterAny：所依赖作业运行结束（成功或失败）。...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引进入新建VIRTUAL任务...
如何解决关于表结构的报错？
报错：type XXX does not exist 可能原因：待同步或迁移对象依赖的自定义类型不存在。解决方法：方法一：重新配置任务，将依赖的自定义类型加入待同步或迁移的对象中。方法二：手动在目标库创建依赖的自定义类型或插件，然后重新启动任务。...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。在数据 开发 页面，按照下图操作...
临时查询
在 新建交互式作业 对话框中，填写 作业名称 和 作业描述，从 作业类型 列表中，选择新建的作业类型。E-MapReduce数据开发支持Shell、SparkSQL、Spark Shell和HiveSQL四种类型的临时查询作业。注意 创建作业时作业类型一经确定，不能修改。...
数据类型
禁用类型可以通过CAST函数强制进行数据类型转换。VARCHAR类型常量可以通过隐式转换为STRING常量。表、函数以及UDF 参数涉及2.0数据类型的内置函数，在2.0数据类型版本下可以正常使用。UDF包含的数据类型都会按照2.0数据类型进行解析重载。...
Java SDK
发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取工作流ID。JobContext参数说明 改进 优化 SDK瘦身，去除无用的依赖。去除SDK无用的Log4j2.xml，防止日志配置冲突。无 1.11.1，2024-02-20...
记录类型和记录变量
本节介绍如何定义不依赖于任何特定表定义的新记录结构。使用%ROWTYPE 属性可以基于表定义声明记录，详情请参见 在记录声明中使用%ROWTYPE。记录类型 记录类型是由一个或多个标识符及其相应数据类型组成的记录的定义，记录类型本身不能用于...
智能监控概述
说明 在DataWorks上，除了工作空间根节点外，自定义的每个周期调度的任务都需要有父节点依赖才可以被正常调度运行。所以孤立节点不会自动调度运行，如果该孤立节点下游依赖较多，则会造成严重的后果。DataWorks每天定时9点、12点、16点对...
- 产品推荐
- 这些文档可能帮助您