MaxCompute数据访问权限控制
背景信息 DataWorks通过空间预设角色与空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户拥有该角色映射的开发引擎Role权限，但默认无生产权限。您可通过DataWorks安全中心实现MaxCompute数据权限管控。应用场景 场景 同...
配置并使用调度参数
当节点最新代码提交至开发环境后，才可在开发环境使用冒烟测试功能。说明 运行（）与高级运行（）功能需手动为代码中的变量赋值常量，因此无法校验配置的调度参数是否符合预期。执行冒烟测试时，会生成相应实例产生实例费用。实例的费用...
入门概述
但在提交任务时，不会区分开发环境和生产环境。通常，通过DataWorks的工作空间实现数据开发和运维包含以下操作：建表并上传数据 创建业务流程 创建同步任务 设置周期和依赖 运行及排错 使用临时查询快速查询SQL（可选）下图为数据开发和运...
什么是云开发平台
全云端的开发环境实现所测即所得、测完即上线的快速交付；一致的 Serverless 环境：不需要购买和部署传统服务器，通过阿里云 Serverless 产品线提供的服务，您可以在日常、预发、线上等多套环境中使用一致的 Serverless 环境去开发、调试、...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速...在开发环境执行冒烟测试（）：在开发环境测试当前节点的代码。开发环境冒烟测试可以模拟...
管理数据源权限
从简单模式工作空间分享至标准模式工作空间：数据源在标准模式工作空间下变为两个，分别对应开发环境和生产环境，且内容一致。从标准模式工作空间分享至标准模式工作空间：不同环境的数据源，分享后在目标工作空间内，仍然对应各自的环境。...
平台安全诊断
计算引擎生产开发环境隔离 说明 标准模式工作空间下支持将计算引擎生产、开发环境进行区分隔离，避免生产环境中的数据从开发环境泄露。DataWorks工作空间引擎 此安全检测项为您扫描当前地域下哪些工作空间绑定的计算引擎实例存在开发、生产...
MaxCompute资源管理
数据开发 面板中的资源只有 同时上传到MaxCompute，并 提交 或 发布 后，才会出现在 MaxCompute资源 面板的开发环境或生产环境中。通过MaxCompute客户端、MaxCompute Studio等非DataWorks渠道上传的资源文件，不会在 数据开发 面板显示，但...
数据开发与运行
说明 如果您的DataWorks为标准模式，则开发环境和生产环境分离，在DataWorks的DataStudio删除资源时，只删除了开发环境的资源，生产环境的资源需要将删除操作发布到生产环境，生产环境的资源才会被删除下线。在开发环境中删除资源。在对应...
开发ODPS Spark任务
根据所使用系统类型，准备运行MaxCompute Spark任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好MaxCompute Spark...
本地开发环境准备
开发环境依赖准备 安装依赖软件 TPP 的方案开发工作，依赖标准的 Java 开发环境，需要准备好以下依赖 codeup 阿里云提供的免费代码仓库，用于上传方案代码，并用于构建 方案 环节。jdk 1.8 请根据本地操作系统，下载最新的版本的 JDK 8。...
查看版本
状态 已提交：节点已提交至开发环境，但未创建发布包并发布至生产环境。您可进入发布页面发布该节点，详情请参见 发布任务。中间版本：节点已提交至开发环境并且已创建发布包，但未发布至生产环境。节点处于待发布状态。您可进入发布页面...
搭建开发环境
HaaS Studio HaaS Studio是AliOS Things配套的开发环境基于VS Code的插件。VS Code安装完成后，可在VS Code的插件市场搜索“haas-studio”，然后点击“install”安装。配置VS Code“代码修改”、“编译”以及“烧入”都是在VS Code中完成的...
调度参数
说明 由于数据集成任务没有开发环境测试功能，所以如果您需测试该类任务调度参数替换情况，建议新建一个SQL节点，使用开发环境冒烟测试先单独测试调度参数，测试符合预期后，再在数据集成节点中使用。FAILED:ODPS-0130161:[1,84]Parse ...
MaxCompute数据权限控制详情
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户，拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限，但默认无生产权限，本文为您介绍预设角色权限基本情况、MaxCompute权限...
MaxCompute数据离线同步至ClickHouse
说明 此处会展示ClickHouse数据源开发环境地的表列表和表结构，如果您的ClickHouse数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。导入前准备语句、导入后完成语句 您...
准备环境
开发个人组件前，需要配置开发环境和初始化开发项目。步骤一：安装Node.js运行环境 需要安装8.9 LTS以及以上版本：单击并选择版本下载。步骤二：安装npm包管理工具 内测用户先使用bnpm,正式开放之后会迁移至aliplus源，使用npm即可。打开...
荣耀推送
开发环境准备，开发环境需要符合荣耀推送集成的环境，具体可以参考 开发准备-环境信息。添加配置文件。在 荣耀开发者服务平台 中下载 mcs-services.json 配置文件，具体参考 添加应用配置文件。配置 SDK 的仓库地址。具体参考官方链接文档 ...
批量操作
此界面的批量修改、提交仅对开发环境生效，如果您需要修改生产环境节点、资源、函数，批量修改并提交后，您需要进入任务发布界面，将刚刚的变更操作发布至生产环境。您可单击右上角的 历史操作记录，跳转至操作历史界面查看历史操作详情。
开发前准备：绑定数据源或集群
数据源缺失开发环境或生产环境。说明 不同数据源或集群无法绑定至DataStudio（数据开发）的原因存在差异，平台会自动展示不支持绑定的原因，您可基于具体原因进行排查处理。当前仅支持绑定MaxCompute、E-MapReduce、Hologres、AnalyticDB ...
调度依赖配置指引
节点唯一性相关 开发环境与生产环境节点形态不同但节点唯一：同一节点在开发环境和生产环境中的调度依赖配置可以不同，即同一个节点在开发环境和生产环境可以拥有两种不同的形态，但节点唯一。下线节点前需在开发环境与生产环境同时移除...
应用提交和预览
预览应用：查看应用的设计效果，符合预期时，则可以发布到开发环境进行测试。说明 仅支持在应用设计器内预览，模块设计器内支持提交和发布。提交应用 单击页面右上角，顶部功能区的 提交，弹出 变更提交 对话框。在 变更提交 对话框中，...
示例：开发中心应用
单击正在部署应用的环境（示例开发环境）卡片，在 应用部署实例 面板的 部署记录 区域，先找到 状态 为 执行中 的 部署记录，再单击其右侧的 日志，您能够了解到当前部署记录的运行情况和详细信息。刷新页面，待部署 状态 为 部署成功 后，...
项目分配与安全
完成项目创建后，您会得到一个生产环境项目和以_dev结尾的开发环境项目。例如 asaleods 和 asaleods_dev。项目权限配置 您需要重点考虑为项目中的不同成员角色赋予不同的权限，例如生产任务如何保障不可随意变更、哪些成员可以进行代码编辑...
创建EMR Presto节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
扩展程序概述
产品能力 DataWorks作为阿里云一站式大数据开发与治理平台，在各项能力支持上预设了很多拓展点，例如，在标准模式下，简略来看，节点创建后完成代码开发后，需先提交到开发环境中进行验证，完成后再正式发布到生产环境中，后续每天根据调度...
什么是主机应用部署
通过预置开发环境，使用智能编码能力，即可快速地编辑、调试、运行、部署云端代码。在线构建部署 云效Flow，是一款企业级、自动化的研发交付流水线，提供灵活易用的持续集成、持续验证、持续发布功能，帮助企业高质量、高效率的交付业务。...
创建CDH Impala节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
创建并管理工作空间
生产、开发环境隔离 定义工作空间模式，即工作空间的生产环境和开发环境是否隔离。是：需隔离生产、开发环境，该方式创建的工作空间为标准模式工作空间。否：无需隔离生产、开发环境，该方式创建的工作空间为简单模式工作空间。工作空间...
MySQL节点
标准模式工作空间下，MySQL节点选择数据源时，无法下拉选择只配置开发环境但未配置生产环境的数据源。所以创建MySQL数据源时，您需要同时配置开发环境与生产环境的数据源。使用限制 MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源...
GetDeployment
CheckingStatus Integer 7 当前发布包涉及节点的检查状态，当发布包的目标环境是开发环境（toEnviroment=1）时，只有发布包的Status为1并且CheckingStatus为空时，才可以继续进行文件到生产环境的发布。7：检查未通过 8：正在处于检查中的...
加工数据
完成设置后，分别单击 提交到开发环境 和 提交到生产环境。设计业务流程 业务流程的新建及依赖关系的配置请参见 新建业务流程。进入业务流程开发面板，并向面板中拖入两个ODPS SQL节点，依次命名为 数据清洗 和 数据汇聚，并配置如下图所示...
附录：DataWorks开放平台示例代码库
工程初始化 步骤一：准备开发环境 安装Java JDK。安装Java JDK（Java开发工具包），您可在Oracle 官方网站，下载与您操作系统兼容的Java JDK版本。说明 本示例中使用的JDK需是 Java 1.8或以上 版本。安装成功后，打开命令提示符或终端，...
创建EMR Kyuubi节点
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需执行提交发布操作，提交发布后节点即会...
Demo 示例
在 房间服务器 列表中，选择开发环境。配置好相应的 bizName、uid 等，单击 连接 即可连接到房间服务器。单击 创建房间。房间创建成功后，room_id 框⾥会显示房间的 ID。然后启动 Linux-Demo 端，使用命令./mrtcdemo-r xxx（xxx 代表的是...
创建EMR Hive节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。编辑 ...
创建CDH Presto节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
采集数据
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至开发...
周期任务基本运维操作
使用说明 仅生产环境运维中心支持自动调度生成周期实例，开发环境运维中心不支持自动调度，且不会生成自动调度的周期实例。对生产环境的任务代码、调度配置、资源、函数进行新增、修改、下线等操作，均可通过提交和发布流程来实现。任务的...
创建CDH Hive节点
如果您希望在开发环境进行冒烟测试，可在执行节点提交，或节点提交后执行，冒烟测试，操作详情请参见 执行冒烟测试。后 续步骤 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
- 产品推荐
- 这些文档可能帮助您