配置并使用调度参数
完整配置示例 本文以ODPS SQL节点为例，通过 在开发环境执行冒烟测试 功能测试配置的调度参数是否符合预期，并在任务发布后，查看生产运维中心中该任务的调度参数配置情况。说明 各类型节点的调度参数配置，详情请参见 各类型节点的调度...
开发前准备：绑定数据源或集群
数据源缺失开发环境或生产环境。说明 不同数据源或集群无法绑定至DataStudio（数据开发）的原因存在差异，平台会自动展示不支持绑定的原因，您可基于具体原因进行排查处理。当前仅支持绑定MaxCompute、E-MapReduce、Hologres、AnalyticDB ...
管理数据源权限
从简单模式工作空间分享至标准模式工作空间：数据源在标准模式工作空间下变为两个，分别对应开发环境和生产环境，且内容一致。从标准模式工作空间分享至标准模式工作空间：不同环境的数据源，分享后在目标工作空间内，仍然对应各自的环境。...
数据开发与运维中心：数据加工
核心技术与架构 高效、规范的开发流程 说明 DataWorks提供标准模式的工作空间，可隔离开发环境与生产环境，标准模式的详细介绍可参见 简单模式和标准模式的区别。可视化的开发界面 支持通过拖拉拽的方式构建任务流程，在统一的界面进行数据...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
查看版本
状态 已提交：节点已提交至开发环境，但未创建发布包并发布至生产环境。您可进入发布页面发布该节点，详情请参见 发布任务。中间版本：节点已提交至开发环境并且已创建发布包，但未发布至生产环境。节点处于待发布状态。您可进入发布页面...
扩展程序概述
产品能力 DataWorks作为阿里云一站式大数据开发与治理平台，在各项能力支持上预设了很多拓展点，例如，在标准模式下，简略来看，节点创建后完成代码开发后，需先提交到开发环境中进行验证，完成后再正式发布到生产环境中，后续每天根据调度...
批量操作
此界面的批量修改、提交仅对开发环境生效，如果您需要修改生产环境节点、资源、函数，批量修改并提交后，您需要进入任务发布界面，将刚刚的变更操作发布至生产环境。您可单击右上角的 历史操作记录，跳转至操作历史界面查看历史操作详情。
项目分配与安全
完成项目创建后，您会得到一个生产环境项目和以_dev结尾的开发环境项目。例如 asaleods 和 asaleods_dev。项目权限配置 您需要重点考虑为项目中的不同成员角色赋予不同的权限，例如生产任务如何保障不可随意变更、哪些成员可以进行代码编辑...
自定义配置
否：设置一个通用的 值，适用于开发环境、预览环境和生产环境。值 自定义，字符串类型，字符长度小于等于1024。配置的值可用于：API集成时的授权信息。通过getConfig()函数传递的变量值。单击 确定。使用场景 集成API中配置Auth授权 通过...
创建CDH Impala节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
荣耀推送
开发环境准备，开发环境需要符合荣耀推送集成的环境，具体可以参考 开发准备-环境信息。添加配置文件。在 荣耀开发者服务平台 中下载 mcs-services.json 配置文件，具体参考 添加应用配置文件。配置 SDK 的仓库地址。具体参考官方链接文档 ...
开发ODPS Spark任务
根据所使用系统类型，准备运行MaxCompute Spark任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好MaxCompute Spark...
什么是主机应用部署
通过预置开发环境，使用智能编码能力，即可快速地编辑、调试、运行、部署云端代码。在线构建部署 云效Flow，是一款企业级、自动化的研发交付流水线，提供灵活易用的持续集成、持续验证、持续发布功能，帮助企业高质量、高效率的交付业务。...
调度参数
说明 由于数据集成任务没有开发环境测试功能，所以如果您需测试该类任务调度参数替换情况，建议新建一个SQL节点，使用开发环境冒烟测试先单独测试调度参数，测试符合预期后，再在数据集成节点中使用。FAILED:ODPS-0130161:[1,84]Parse ...
MySQL节点
标准模式工作空间下，MySQL节点选择数据源时，无法下拉选择只配置开发环境但未配置生产环境的数据源。所以创建MySQL数据源时，您需要同时配置开发环境与生产环境的数据源。使用限制 MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源...
应用提交和预览
预览应用：查看应用的设计效果，符合预期时，则可以发布到开发环境进行测试。说明 仅支持在应用设计器内预览，模块设计器内支持提交和发布。提交应用 单击页面右上角，顶部功能区的 提交，弹出 变更提交 对话框。在 变更提交 对话框中，...
MaxCompute数据离线同步至ClickHouse
说明 此处会展示ClickHouse数据源开发环境地的表列表和表结构，如果您的ClickHouse数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。导入前准备语句、导入后完成语句 您...
创建并管理工作空间
生产、开发环境隔离 定义工作空间模式，即工作空间的生产环境和开发环境是否隔离。是：需隔离生产、开发环境，该方式创建的工作空间为标准模式工作空间。否：无需隔离生产、开发环境，该方式创建的工作空间为简单模式工作空间。工作空间...
创建CDH Presto节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
UpdateNodeRunMode
ProjectEnv String 是 PROD 运行的环境，包括开发环境（DEV）和生产环境（PRD）。NodeId Long 是 1234 节点的ID，您可以调用 ListNodes 接口获取节点ID。SchedulerType Integer 是 0 需要对目标节点执行的操作。取值如下：0：表示解冻目标...
搭建开发环境
HaaS Studio HaaS Studio是AliOS Things配套的开发环境基于VS Code的插件。VS Code安装完成后，可在VS Code的插件市场搜索“haas-studio”，然后点击“install”安装。配置VS Code“代码修改”、“编译”以及“烧入”都是在VS Code中完成的...
采集数据
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至开发...
创建EMR Kyuubi节点
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需执行提交发布操作，提交发布后节点即会...
调度依赖配置指引
节点唯一性相关 开发环境与生产环境节点形态不同但节点唯一：同一节点在开发环境和生产环境中的调度依赖配置可以不同，即同一个节点在开发环境和生产环境可以拥有两种不同的形态，但节点唯一。下线节点前需在开发环境与生产环境同时移除...
创建CDH Hive节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
UpdateNodeOwner
ProjectEnv String 是 PROD 运行的环境，包括开发环境（DEV）和生产环境（PRD）。NodeId Long 是 1234 节点的ID，您可以调用 ListNodes 接口获取节点ID。UserId String 是 19337906836551 节点负责人的阿里云账号ID。您可以登录DataWorks...
数据开发：开发者
冒烟测试需在开发环境执行，因此您需将节点提交至开发环境，提交后：单击工具栏中的 图标，在冒烟测试弹框配置业务日期。冒烟测试执行完成后，单击工具栏的 图标，查看测试结果。本文示例测试调度参数配置是否符合预期。result_table 调度...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
加工数据
完成设置后，分别单击 提交到开发环境 和 提交到生产环境。设计业务流程 业务流程的新建及依赖关系的配置请参见 新建业务流程。进入业务流程开发面板，并向面板中拖入两个ODPS SQL节点，依次命名为 数据清洗 和 数据汇聚，并配置如下图所示...
准备环境
步骤四：配置DataWorks on EMR开发环境 在DataWorks上运行EMR作业前，您需要配置如下开发环境：购买并配置独享调度资源组。独享调度资源组是一种专门的计算资源，用于保障任务能够按时被调度执行。购买一个独享调度资源组，并与当前EMR集群...
示例：开发中心应用
单击正在部署应用的环境（示例开发环境）卡片，在 应用部署实例 面板的 部署记录 区域，先找到 状态 为 执行中 的 部署记录，再单击其右侧的 日志，您能够了解到当前部署记录的运行情况和详细信息。刷新页面，待部署 状态 为 部署成功 后，...
GetDeployment
CheckingStatus Integer 7 当前发布包涉及节点的检查状态，当发布包的目标环境是开发环境（toEnviroment=1）时，只有发布包的Status为1并且CheckingStatus为空时，才可以继续进行文件到生产环境的发布。7：检查未通过 8：正在处于检查中的...
测试分析方案报告
测试过程管理 测试版本控制 代码从测试环境发布至开发环境后，需描述此部分。项目交付测试通过后，每天上午9点、下午3点接受开发提交的新版本，其他时间测试环境不接受变更。版本号 更新日期 触发情况 测试环境描述 对测试环境给出逻辑图...
查看公共表
说明 标准模式工作空间下，公共表包括 开发环境 和 生产环境。简单模式工作空间下，公共表仅包括 生产环境。蓝色表示当前环境。表名 相应工作空间下表的名称。列信息 查看当前表的字段数量、字段类型及描述。分区信息 查看当前表的分区信息...
通用参考：切换资源组
在开发环境切换资源组后，您可以通过 发布流程 修改生产环境任务所使用的资源组。若要设置任务默认调度资源组及数据集成资源组，可在数据开发 设置>调度设置 面板操作。详情请参见 调度设置。注意事项 您可通过切换资源组切换调度任务所...
创建临时查询
背景信息 若您仅需在数据开发（DataStudio），即开发环境，查询数据及相关SQL代码、测试代码的实际运行情况与期望值是否相符，或验证代码的正确性，而无需将数据或SQL代码发布至生产环境并操作生产环境引擎，则可通过 新建临时查询文件 ...
附录：DataWorks开放平台示例代码库
工程初始化 步骤一：准备开发环境 安装Java JDK。安装Java JDK（Java开发工具包），您可在Oracle 官方网站，下载与您操作系统兼容的Java JDK版本。说明 本示例中使用的JDK需是 Java 1.8或以上 版本。安装成功后，打开命令提示符或终端，...
权限管理与规范化数据开发
Step4：数据建模 数据建模的流程包括：创建数据标准、创建数据模型、修改数据模型、保存模型至模型库、提交模型至开发环境计算引擎。操作详情请参见 概述。Step5：数据开发与生产 进行数据开发与生产前，您需要了解几个重要的概念。生产...
创建并配置发布环境
例如，简单模式工作空间的开发环境和生产环境是分隔的，您可以直接使用 跨工作空间发布，无需逐个创建即可将开发环境的节点批量发布至生产环境中进行发布调度，详情请参见 发布任务。跨云发布：用于跨账号、跨地域或跨云平台（例如，金融云...
- 产品推荐
- 这些文档可能帮助您