数据开发与运行
说明 如果您的DataWorks为标准模式，则开发环境和生产环境分离，在DataWorks的DataStudio删除资源时，只删除了开发环境的资源，生产环境的资源需要将删除操作发布到生产环境，生产环境的资源才会被删除下线。在开发环境中删除资源。在对应...
配置并使用调度参数
当节点最新代码提交至开发环境后，才可在开发环境使用冒烟测试功能。说明 运行（）与高级运行（）功能需手动为代码中的变量赋值常量，因此无法校验配置的调度参数是否符合预期。执行冒烟测试时，会生成相应实例产生实例费用。实例的费用...
平台安全诊断
计算引擎生产开发环境隔离 说明 标准模式工作空间下支持将计算引擎生产、开发环境进行区分隔离，避免生产环境中的数据从开发环境泄露。DataWorks工作空间引擎 此安全检测项为您扫描当前地域下哪些工作空间绑定的计算引擎实例存在开发、生产...
管理数据源权限
从简单模式工作空间分享至标准模式工作空间：数据源在标准模式工作空间下变为两个，分别对应开发环境和生产环境，且内容一致。从标准模式工作空间分享至标准模式工作空间：不同环境的数据源，分享后在目标工作空间内，仍然对应各自的环境。...
MaxCompute数据权限控制详情
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户，拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限，但默认无生产权限，本文为您介绍预设角色权限基本情况、MaxCompute权限...
准备环境
开发个人组件前，需要配置开发环境和初始化开发项目。步骤一：安装Node.js运行环境 需要安装8.9 LTS以及以上版本：单击并选择版本下载。步骤二：安装npm包管理工具 内测用户先使用bnpm,正式开放之后会迁移至aliplus源，使用npm即可。打开...
查看版本
状态 已提交：节点已提交至开发环境，但未创建发布包并发布至生产环境。您可进入发布页面发布该节点，详情请参见 发布任务。中间版本：节点已提交至开发环境并且已创建发布包，但未发布至生产环境。节点处于待发布状态。您可进入发布页面...
开发前准备：绑定数据源或集群
数据源缺失开发环境或生产环境。说明 不同数据源或集群无法绑定至DataStudio（数据开发）的原因存在差异，平台会自动展示不支持绑定的原因，您可基于具体原因进行排查处理。当前仅支持绑定MaxCompute、E-MapReduce、Hologres、AnalyticDB ...
数据开发与运维中心：数据加工
核心技术与架构 高效、规范的开发流程 说明 DataWorks提供标准模式的工作空间，可隔离开发环境与生产环境，标准模式的详细介绍可参见 简单模式和标准模式的区别。可视化的开发界面 支持通过拖拉拽的方式构建任务流程，在统一的界面进行数据...
开发ODPS Spark任务
根据所使用系统类型，准备运行MaxCompute Spark任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好MaxCompute Spark...
创建EMR Presto节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
自定义配置
否：设置一个通用的 值，适用于开发环境、预览环境和生产环境。值 自定义，字符串类型，字符长度小于等于1024。配置的值可用于：API集成时的授权信息。通过getConfig()函数传递的变量值。单击 确定。使用场景 集成API中配置Auth授权 通过...
批量操作
此界面的批量修改、提交仅对开发环境生效，如果您需要修改生产环境节点、资源、函数，批量修改并提交后，您需要进入任务发布界面，将刚刚的变更操作发布至生产环境。您可单击右上角的 历史操作记录，跳转至操作历史界面查看历史操作详情。
调度参数
说明 由于数据集成任务没有开发环境测试功能，所以如果您需测试该类任务调度参数替换情况，建议新建一个SQL节点，使用开发环境冒烟测试先单独测试调度参数，测试符合预期后，再在数据集成节点中使用。FAILED:ODPS-0130161:[1,84]Parse ...
荣耀推送
开发环境准备，开发环境需要符合荣耀推送集成的环境，具体可以参考 开发准备-环境信息。添加配置文件。在 荣耀开发者服务平台 中下载 mcs-services.json 配置文件，具体参考 添加应用配置文件。配置 SDK 的仓库地址。具体参考官方链接文档 ...
项目分配与安全
完成项目创建后，您会得到一个生产环境项目和以_dev结尾的开发环境项目。例如 asaleods 和 asaleods_dev。项目权限配置 您需要重点考虑为项目中的不同成员角色赋予不同的权限，例如生产任务如何保障不可随意变更、哪些成员可以进行代码编辑...
扩展程序概述
产品能力 DataWorks作为阿里云一站式大数据开发与治理平台，在各项能力支持上预设了很多拓展点，例如，在标准模式下，简略来看，节点创建后完成代码开发后，需先提交到开发环境中进行验证，完成后再正式发布到生产环境中，后续每天根据调度...
搭建开发环境
HaaS Studio HaaS Studio是AliOS Things配套的开发环境基于VS Code的插件。VS Code安装完成后，可在VS Code的插件市场搜索“haas-studio”，然后点击“install”安装。配置VS Code“代码修改”、“编译”以及“烧入”都是在VS Code中完成的...
MaxCompute数据离线同步至ClickHouse
说明 此处会展示ClickHouse数据源开发环境地的表列表和表结构，如果您的ClickHouse数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。导入前准备语句、导入后完成语句 您...
创建CDH Impala节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
应用提交和预览
预览应用：查看应用的设计效果，符合预期时，则可以发布到开发环境进行测试。说明 仅支持在应用设计器内预览，模块设计器内支持提交和发布。提交应用 单击页面右上角，顶部功能区的 提交，弹出 变更提交 对话框。在 变更提交 对话框中，...
什么是主机应用部署
通过预置开发环境，使用智能编码能力，即可快速地编辑、调试、运行、部署云端代码。在线构建部署 云效Flow，是一款企业级、自动化的研发交付流水线，提供灵活易用的持续集成、持续验证、持续发布功能，帮助企业高质量、高效率的交付业务。...
调度依赖配置指引
节点唯一性相关 开发环境与生产环境节点形态不同但节点唯一：同一节点在开发环境和生产环境中的调度依赖配置可以不同，即同一个节点在开发环境和生产环境可以拥有两种不同的形态，但节点唯一。下线节点前需在开发环境与生产环境同时移除...
MySQL节点
标准模式工作空间下，MySQL节点选择数据源时，无法下拉选择只配置开发环境但未配置生产环境的数据源。所以创建MySQL数据源时，您需要同时配置开发环境与生产环境的数据源。使用限制 MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源...
示例：开发中心应用
单击正在部署应用的环境（示例开发环境）卡片，在 应用部署实例 面板的 部署记录 区域，先找到 状态 为 执行中 的 部署记录，再单击其右侧的 日志，您能够了解到当前部署记录的运行情况和详细信息。刷新页面，待部署 状态 为 部署成功 后，...
创建并管理工作空间
生产、开发环境隔离 定义工作空间模式，即工作空间的生产环境和开发环境是否隔离。是：需隔离生产、开发环境，该方式创建的工作空间为标准模式工作空间。否：无需隔离生产、开发环境，该方式创建的工作空间为简单模式工作空间。工作空间...
加工数据
完成设置后，分别单击 提交到开发环境 和 提交到生产环境。设计业务流程 业务流程的新建及依赖关系的配置请参见 新建业务流程。进入业务流程开发面板，并向面板中拖入两个ODPS SQL节点，依次命名为 数据清洗 和 数据汇聚，并配置如下图所示...
UpdateNodeRunMode
ProjectEnv String 是 PROD 运行的环境，包括开发环境（DEV）和生产环境（PRD）。RegionId String 是 cn-shanghai 地域信息，通常是服务所在的地域。例如，华东2（上海）是cn-shanghai，华北3（张家口）是cn-zhangjiakou。您无需填写...
GetDeployment
CheckingStatus Integer 7 当前发布包涉及节点的检查状态，当发布包的目标环境是开发环境（toEnviroment=1）时，只有发布包的Status为1并且CheckingStatus为空时，才可以继续进行文件到生产环境的发布。7：检查未通过 8：正在处于检查中的...
准备环境
步骤四：配置DataWorks on EMR开发环境 在DataWorks上运行EMR作业前，您需要配置如下开发环境：购买并配置独享调度资源组。独享调度资源组是一种专门的计算资源，用于保障任务能够按时被调度执行。购买一个独享调度资源组，并与当前EMR集群...
UpdateNodeOwner
ProjectEnv String 是 PROD 运行的环境，包括开发环境（DEV）和生产环境（PRD）。RegionId String 是 cn-shanghai 地域信息，通常是服务所在的地域。例如，华东2（上海）是cn-shanghai，华北3（张家口）是cn-zhangjiakou。您无需填写...
创建CDH Presto节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
创建EMR Hive节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。编辑 ...
创建CDH Hive节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
数据开发：开发者
冒烟测试需在开发环境执行，因此您需将节点提交至开发环境，提交后：单击工具栏中的 图标，在冒烟测试弹框配置业务日期。冒烟测试执行完成后，单击工具栏的 图标，查看测试结果。本文示例测试调度参数配置是否符合预期。result_table 调度...
附录：DataWorks开放平台示例代码库
工程初始化 步骤一：准备开发环境 安装Java JDK。安装Java JDK（Java开发工具包），您可在Oracle 官方网站，下载与您操作系统兼容的Java JDK版本。说明 本示例中使用的JDK需是 Java 1.8或以上 版本。安装成功后，打开命令提示符或终端，...
查看公共表
说明 标准模式工作空间下，公共表包括 开发环境 和 生产环境。简单模式工作空间下，公共表仅包括 生产环境。蓝色表示当前环境。表名 相应工作空间下表的名称。列信息 查看当前表的字段数量、字段类型及描述。分区信息 查看当前表的分区信息...
测试分析方案报告
测试过程管理 测试版本控制 代码从测试环境发布至开发环境后，需描述此部分。项目交付测试通过后，每天上午9点、下午3点接受开发提交的新版本，其他时间测试环境不接受变更。版本号 更新日期 触发情况 测试环境描述 对测试环境给出逻辑图...
采集数据
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至开发...
MaxFrame概述
使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并快速进行数据科学、大规模数据处理及交互式数据探索等开发。处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、...
- 产品推荐
- 这些文档可能帮助您