创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
创建EMR Impala节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。编辑 ...
配置for-each节点
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环...
创建EMR Spark SQL节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。编辑 ...
创建EMR Presto节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
数据开发：开发者
说明 若当节点查询（即使用 select 语句）非DataWorks调度节点产出的表数据，您可选择 自动解析 为否，并使用工作空间根节点来调度当前节点运行。若当前节点查询（即使用 select 语句）其他任务产出的表数据，您可通过以下方式配置当前节点...
DAO 存储
基本工作原理如下：定义一个 xml 格式的配置文件，描述各 sqlite 操作的函数、返回的数据类型、需要加密的字段等。定义一个 DAO 对象的接口 DAOInterface（@protocol），接口方法名、参数与配置文件里的描述一致。业务将 xml 配置文件传给 ...
分支节点实现特定时间执行任务
节点（除了最后一天之外运行）正常执行 总结 使用分支节点要点如下：DataWorks捕获赋值节点的最后一条SELECT语句或者最后一行标准输出流，作为赋值节点的输出，供下游引用。分支节点的每一个输出都被关联了条件，下游挂分支节点作为上游，...
创建CDH MR节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
开发数据服务API
物联网数据分析的数据开发任务是使用标准的SQL语句对设备进行数据分析，而API服务可将数据开发任务封装成API，方便开发者调用。API服务既可以直接响应设备端请求，也可以用于服务端数据对接。创建数据分析任务 登录数据分析控制台，单击 ...
创建CDH Impala节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
创建CDH Hive节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
SQL脚本模式
提交运行时，SQL脚本文件会被整体提交，并生成一个执行计划，保证只需排队一次、执行一次，让您能充分利用MaxCompute的资源，在提升工作效率的同时增强数据处理和分析工作流的灵活性与安全性。说明 脚本模式SQL无法使用 计量预估 完成费用...
创建CDH Presto节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
配置do-while节点
同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。本文通过实现简单和复杂场景的示例，为您介绍如何配置do-while节点。前提条件 已了解循环节点内部可根据业务需要自定义待循环的业务流程。节点组成与流程编排。已了解循环节点...
创建CDH Spark节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
创建并使用PAI Designer
步骤二：开发PAI Designer节点任务 简单示例 开发任务：编写Designer工作流 编辑PAI Designer节点任务时，如选择加载已有工作流，则需提前在PAI中创建Designer工作流，通过名称搜索，载入已经创建好的工作流。在PAI Designer节点编辑页面，...
创建EMR Shell节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务...
StarRocks
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
创建并使用PAI DLC节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。单击工具栏的 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如您希望在开发环境进行冒烟测试，查看调度...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
Oracle节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
SQL Server节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
PostgreSQL节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
ClickHouse SQL
EMR引擎类型包括新版数据湖（DataLake）及Hadoop，不同类型引擎创建节点前需执行的准备工作不同。您可根据实际情况完成EMR侧及DataWorks侧的准备工作。DataLake：详情请参见 DataLake集群配置、DataWorks配置。Hadoop：Hadoop集群开发前...
创建EMR Spark节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
AnalyticDB for MySQL
步骤二：开发AnalyticDB for MySQL任务（可选）选择AnalyticDB for MySQL数据源 如果您的工作空间创建了多个AnalyticDB for MySQL数据源，则需先在AnalyticDB for MySQL节点编辑页面选择合适的数据源。如果仅创建了一个AnalyticDB for ...
通过向导模式生成API
可见范围 包括 工作空间 和 私有：工作空间：该API对本工作空间内的所有成员可见。私有：该API仅对API的负责人可见，且暂不支持授权。说明 如果设置可见范围为私有，在目录树中，仅自己可见，工作空间内的其他成员不可见。标签 从 标签 ...
创建并使用AnalyticDB for PostgreSQL节点
步骤二：开发AnalyticDB for PostgreSQL任务（可选）选择AnalyticDB for PostgreSQL数据源 如果您的工作空间创建了多个AnalyticDB for PostgreSQL数据源，则需先在AnalyticDB for PostgreSQL节点编辑页面选择合适的数据源。如果仅创建了...
周期性调度
步骤二：绑定归属的工作空间 独享调度资源组需要绑定归属的工作空间，才可以在对应的工作空间下选择该资源组，详情请参见 绑定归属工作空间。步骤三：安装部署工具包DLC 安装DLC工具包，需要联系管理员授权。创建命令。登录 DataWorks控制...
新建MaxCompute MR类型的公共节点
也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 已创建MaxCompute类型的云计算资源，具体操作，请参见 新建MaxCompute云计算资源。操作步骤 方式一：上传算法包方式 ...
新建MaxCompute MR类型的公共节点
也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 已创建MaxCompute类型的云计算资源，具体操作，请参见 新建MaxCompute云计算资源。操作步骤 方式一：上传算法包方式 ...
PREPARE
尽管预备语句主要是为了避免重复对语句进行解析分析以及规划，但是只要上一次使用该预备语句后该语句中用到的数据库对象发生了定义性（DDL）改变，PolarDB将会对该语句强制进行重新分析和重新规划。还有，如果 search_path 的值发生变化，...
语义意图标注
所以除了在新建意图时添加意图的“包含语句”外，还可以通过建立 意图标注任务 完成有关意图“包含语句”的更新扩充，以此提高意图模型的准确率，并减轻相关工作人员对列举意图的“包含语句”的负担。新建标注任务 进入智能对话分析系统后...
执行角色
授权的基本原理如下：策略 表示访问某个服务的能力，为 角色 绑定指定策略，那么角色就具有了访问该服务的能力。当有第三方需要访问这个服务的时候，只需要扮演具有访问能力的角色即可。从而避免使用长期密钥，让系统变得更加安全。创建...
数据开发功能索引
运行 代码时每次都需要手动给SQL语句中的变量进行赋值，运行 的初始赋值会传递给 高级运行，高级运行的自定义参数赋值后，会刷新当前运行的自定义参数。说明 如果您创建的节点没有选择调度资源组，则运行任务时，系统会先提示您选择可用的...
执行角色
授权的基本原理如下：策略 表示访问某个服务的能力，为 角色 绑定指定策略，那么角色就具有了访问该服务的能力。当有第三方需要访问这个服务的时候，只需要扮演具有访问能力的角色即可。从而避免使用长期密钥，让系统变得更加安全。创建...
RestAPI Reader最佳实践
接口测试工具调用示例：准备工作：创建MaxCompute分区表 本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。说明 分区表配合覆盖写命令，可以实现分区覆盖写的效果，让数据同步...
多租户管理使用说明
技术原理如下图所示：术语 租户：租户（Tenant）为实现多租户模式所提出的概念，租户的层级结构在一个数据库实例之下，在数据库与用户之上。租户分为系统租户和普通租户：系统租户：系统租户是为了适配原有模式下用户的使用，原有数据库...
QueryPublicModelEngine
调用QueryPublicModelEngine接口，使用FML语句查询数据建模引擎的信息。每次调用该接口均需使用FML语句请求获取查询信息。除了数仓分层、业务过程和数据域查询外，其他引擎信息查询均可使用分页查询方式。您可以在FML语句结尾增加offset ...
- 产品推荐
- 这些文档可能帮助您