MaxCompute数据权限控制详情
场景 说明 开发环境的MaxCompute引擎权限 DataWorks采取RBAC权限体系与MaxCompute的RBAC角色体系存在天然的映射关系，DataWorks空间成员在被授予空间预设角色的同时，将同步被授予该预设角色映射的引擎Role所拥有的引擎权限。生产环境的...
数据开发与运行
说明 如果您的DataWorks为标准模式，则开发环境和生产环境分离，在DataWorks的DataStudio删除资源时，只删除了开发环境的资源，生产环境的资源需要将删除操作发布到生产环境，生产环境的资源才会被删除下线。在开发环境中删除资源。在对应...
MaxCompute数据离线同步至ClickHouse
如果是标准项目，此时会在开发环境运行同步任务，源端使用MaxCompute的开发项目开发表，目标端使用ClickHouse的开发环境JDBC URL和库表。提交和发布任务 试运行没有问题后，您可以保存离线节点的配置，并提交发布至运维中心，后续离线同步...
示例：开发中心应用
由于示例应用并不涉及到具体的编码实现过程，因此跳过此步骤，在完成代码生成后，您可以直接进入到开发环境的打包部署步骤。BizWorks默认提供了基本的CICD过程，也支持与三方DevOps产品进行集成对接。本文在示例应用中重点演示如何使用内置...
常见问题
由于用户的开发环境无法预测，很可能与EAS线上环境存在区别。为保证开发环境与线上环境一致，EAS提供了预先构建的开发镜像，用于配置Python Processor的ENV环境。开发镜像中已预装Conda并生成了对应Python版本的ENV环境，EAS提供的开发镜像...
创建并配置发布环境
例如，简单模式工作空间的开发环境和生产环境是分隔的，您可以直接使用 跨工作空间发布，无需逐个创建即可将开发环境的节点批量发布至生产环境中进行发布调度，详情请参见 发布任务。跨云发布：用于跨账号、跨地域或跨云平台（例如，金融云...
创建并管理工作空间
标准模式的工作空间需分别配置生产环境和开发环境的参数。简单模式 的工作空间可选择升级为 标准模式，升级入口仅阿里云主账号可见，详情请参见 场景：工作空间模式升级（简单模式升级标准模式）。负责人 当前工作空间的所有者，拥有删除、...
加工数据
由于开发环境的任务不会自动调度，您需要将配置完成的任务发布至生产环境。说明 将任务发布至生产环境前，您需要对代码进行测试，确保其正确性。打开业务流程配置面板，单击工具栏中的 图标。在 创建发布包 页面，选中待发布的任务，单击 ...
跨项目克隆说明
跨项目克隆主要用于隔离同租户（阿里云账号）简单模式工作空间下的开发环境和生产环境，您也可以利用跨项目克隆功能实现计算、同步等类型的任务在工作空间之间的克隆迁移。本文为您介绍如何处理跨项目克隆时任务间的依赖关系。通过 跨项目...
注册EMR集群至DataWorks
注意事项 若要实现DataWorks标准模式工作空间的开发环境与生产环境隔离机制，您需要为开发环境和生产环境绑定两个不同的EMR集群。且这两个集群的元数据需要使用如下存储方式：方式一（数据湖方案推荐）：存储在数据湖构建DLF（Data Lake ...
加工数据
提交表至DataWorks的开发环境，即在开发环境所绑定的MaxCompute引擎中创建当前表。提交表至DataWorks的生产环境，即在生产环境所绑定的MaxCompute引擎中创建当前表。说明 若使用简单模式的工作空间，仅需将表提交至生产环境。简单模式与...
DataWorks On Hologres使用说明
环境准备 在DataWorks上进行Hologres任务开发前，您需根据业务需求购买相应DataWorks版本及所需资源组，并完成相关Hologres引擎绑定及开发环境的准备工作，具体如下表。一、资源准备 DataWorks提供具备丰富产品能力的标准版、专业版、企业...
离线同步任务运维
任务发布至生产调度系统前，默认访问任务配置所用数据源对应的开发环境指定的数据库或数据仓库。任务发布至生产调度系统后，默认访问任务配置所用数据源对应的生产环境指定的数据库或数据仓库。关于数据源开发生产隔离机制，详情请参见：...
任务管理器-WEB服务
4.补充说明 实际生产系统，一般日常开发环境的数据库和线上环境的数据库是不一样的，数据库配置可以定义成变量，比如application.properties中这样定义数据源：spring.datasource.driver-class-name=${ds_drivername} spring.datasource....
任务管理器-微服务端
3、配置补充说明 实际生产系统，一般日常开发环境的数据库和线上环境的数据库是不一样的，数据库配置可以定义成变量，比如application.properties中这样定义数据源：spring.datasource.driver-class-name=${ds_drivername} spring....
DataWorks On CDP/CDH使用说明
环境准备 DataWorks上进行 CDP或CDH 任务开发前，您需根据业务需求购买相应DataWorks版本及所需资源组，并完成相关 CDP或CDH 集群注册及开发环境的准备工作。权限控制 DataWorks为您提供了产品级与模块级的权限控制，您可根据业务需求对...
SubmitFile
调用SubmitFile，提交文件至调度系统的开发环境，生成对应的任务。该API是异步处理，您可以使用GetDeployment接口获取文件的提交状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
DataWorks On EMR使用说明
费用说明 2 DataWorks上进行EMR任务开发前，您需根据业务需求购买相应DataWorks版本及所需资源组，并完成相关EMR集群注册及开发环境的准备工作。环境准备 3 DataWorks为您提供了产品级与模块级的权限控制，您可根据业务需求对不同用户授权...
附录：预设角色权限列表（空间级）
无 无 无 自己创建的表隐藏 有 有 无 有 无 无 无 无 无 自己创建的表生命周期设置 有 有 无 有 无 无 无 无 无 非自己创建的表数据权限申请 有 有 无 有 无 无 无 无 无 更新开发环境的表 有 有 无 有 有 有 无 无 无 删除开发环境的表 有...
离线同步能力说明
开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境的数据源，提交生产运行时会使用生产环境的数据源。您可以通过数据源隔离使其在不同环境隔离使用。离线同步任务配置相关能力 支持的...
规划工作空间
通常来说，开发环境的数据读、写权限为各工作空间的“开发”角色共享，而生产环境的数据权限为生产账号独有 数据质量 各工作空间之间的数据质量是 完全隔离 的。仅对应工作空间的“开发”、“运维”或“管理员”角色具备配置数据质量规则的...
查看开发环境场景配置信息
通过查看开发环境场景，您可查看所有开发环境场景的相关信息，包括场景上线状态、场景名称、场景code、场景描述、创建人、创建时间、修改人和修改时间以及场景中各节点配置信息。本文介绍如何查看开发环境场景配置信息。前提条件 已新建了...
查看开发环境场景配置信息
通过查看开发环境场景，您可查看所有开发环境场景的相关信息，包括场景上线状态、场景名称、场景code、场景描述、创建人、创建时间、修改人和修改时间以及场景中各节点配置信息。本文介绍如何查看开发环境场景配置信息。前提条件 已新建了...
数据源开发和生产环境隔离
删除开发环境的数据源：需确认是否存在生产环境关联的同步任务，操作不可逆，删除后，在开发环境配置同步任务时此数据源不可见。如果在生产环境使用此数据源配置的同步任务，删除后，任务编辑时将不能获取到元数据信息，但生产环境任务可以...
实现开发生产等多套环境隔离
EMR集群的环境隔离 分别设置2个EMR集群中各个引擎的catalog信息，保证EMR开发环境的集群引擎使用上述创建的开发环境的数据目录（dev catalog），生产环境集群引擎使用的是生产环境的数据目录（prod catalog）。以Hive引擎为例，用于开发...
查看开发环境场景运维信息
场景部署成功后，可查看开发环境场景的节点列表、部署日志和运行日志，以便在场景运行失败时快速定位失败原因。任务流列表会显示整个场景的节点流程图和节点列表，本文介绍如何查看开发环境场景运维信息。前提条件 已部署运行开发环境场景...
查看开发环境场景运维信息
场景部署成功后，可查看开发环境场景的节点列表、部署日志和运行日志，以便在场景运行失败时快速定位失败原因。任务流列表会显示整个场景的节点流程图和节点列表，本文介绍如何查看开发环境场景运维信息。前提条件 已部署运行开发环境场景...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
团队合作开发
云开发平台通过设计，使得您的应用在第一次被初始化，准备完环境之后，未来所有的开发者加入，都不需要额外去准备开发环境，任何一个新的开发者加入到任何一个新的应用，立即就可以开始进行业务逻辑的开发。云开发平台允许团队管理员去为每...
周期性调度作业概述
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
本地开发环境准备
使用单独的 settings.xml（推荐）对于不熟悉复杂 Maven 配置的开发者，建议使用单独的 settings.xml，规避因为配置错误引起开发环境问题。这里有以下几种方式可以参考 全局配置方式：放到上文列举的 settings.xml 文件位置，作为全局配置，...
DataWorks On MaxCompute使用说明
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
发布任务
标准模式工作空间提交任务后，任务仅在开发环境生效，开发环境中的任务不进行自动调度，您需要通过任务发布流程，将任务发布至生产环境后，任务才会周期调度运行。说明 在数据开发界面提交的操作都将进入任务发布界面处于待发布状态，您...
管理数据源权限
从简单模式工作空间分享至标准模式工作空间：数据源在标准模式工作空间下变为两个，分别对应开发环境和生产环境，且内容一致。从标准模式工作空间分享至标准模式工作空间：不同环境的数据源，分享后在目标工作空间内，仍然对应各自的环境。...
微服务敏捷开发最佳实践
开发环境的所有应用都部署在本地的机房：所有的开发环境都在本地，或者本地网络内自建的数据中心，每个开发小组希望拥有一套独立的开发环境，避免应用间相互影响。本地网络与阿里云通过专线互联互通：本地网络通过专线与阿里云上的VPC实现...
MaxFrame概述
使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并快速进行数据科学、大规模数据处理及交互式数据探索等开发。处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、...
采集数据
说明 开发环境的数据源创建完成后，需要勾选 生产，以同样方式创建生产环境的数据源，否则任务生产执行会报错。Endpoint 输入 http://oss-cn-shanghai.aliyuncs.com 。Bucket 输入 new-dataworks-workshop。AccessKey ID&AccessKey Secret ...
数据开发：开发者
生成表结构后，在 基本属性 区域输入表的 中文名，并将其提交至开发环境与生产环境，提交成功后可在对应环境的数据源项目查看该表。查看各环境绑定的数据源信息，详情请参见 创建MaxCompute数据源。说明 表的新增、更新等操作均需要提交至...
mPaaS 插件发布说明
V5.0.0(2019-03-13)新增 插件的安装去除繁琐的开发环境依赖，只需一步即可完成安装。新增 增加错误诊断功能。新增 UI 调整，支持 dark mode。更新 插件全新升级，去除依赖 Ruby 2.2.4 固定版本，支持 Ruby 2.3+。更新 全新的命令行工具。...
附录：空间级预设角色与MaxCompute引擎权限的映射关系
说明 DataWorks简单模式工作空间默认无法做到权限控制，表格中的 DataWorks开发环境/MaxCompute DEV引擎项目数据权限、DataWorks生产环境/MaxCompute PROD引擎项目数据权限 仅适用于标准模式工作空间。DataWorks工作空间模式介绍，请参见 ...
- 产品推荐
- 这些文档可能帮助您