DataWorks on EMR集群配置最佳实践
使用DataLake（新版数据湖）集群在DataWorks上进行EMR作业的注意事项及开发流程，详情请参见 DataWorks On EMR开发流程（必读）。EMR组件配置 Kyuubi组件 在生产环境配置Kyuubi组件时，建议将 kyuubi_java_opts 内存大小调整至 10g 及以上...
应用示例：数据开发过程触发事件检查
使用限制 扩展程序启用后，实际在数据开发过程中，扩展事件被触发后的消息通知与响应有以下限制。系统内置扩展程序启用后，暂时仅支持对ODPS SQL类的节点生效。即启用后，仅ODPS SQL类节点中相应扩展点事件被触发时，流程会被阻断，通过...
创建并使用PAI Designer
人工智能平台PAI的 可视化建模Designer，用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...
开发部署扩展程序：自建服务方式
在DataWorks扩展程序中，您可以自定义逻辑以监管用户的操作行为，例如拦截和阻断不当行为，通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍如何通过自建服务开发部署扩展程序。权限说明 开放平台管理员 和 租户管理员 拥有 ...
DataWorks On EMR使用说明
本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 费用说明、环境准备、权限控制 等内容。背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache ...
常见问题
服务门户 魔笔的表达式文档 请问如何获取应用的ID？...魔笔开发过程中，工作流无法选择审批用户 魔笔使用中A、B两人可以互相看到各自的模块吗？魔笔有什么方便的学习资料？魔笔中使用导入控件导入数据时，如何不把重复数据导进去。
功能发布记录（2024年）
2024.2.22 所有地域 所有DataWorks用户 账单数据订阅及查询分析 新增在DataWorks使用 CDP/CDH的相关介绍 为您介绍在DataWorks上使用CDP/CDH的基本开发流程，以及相关费用说明、环境准备、权限控制等内容。2024.2.21 所有地域 所有DataWorks...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权，并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情，请参见 安全模型。
场景：工作空间模式升级（简单模式升级标准模式）
操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的区别，包括不同工作空间模式的物理形态、开发流程等差异，详情请参见 必读：简单模式和标准模式的区别。了解创建并绑定数据源的相关内容，详情请参见 ...
断点调试
断点调试 开发过程中通过打断点进行debug解决许多问题，使用云开发平台也可以通过断点调试云函数，这需要搭配云开发平台提供的调试运行时一起使用。断点调试目前支持Nodejs与Python技术栈 Nodejs调试 本次演示一个基于Koa的hello项目断点...
开发部署扩展程序：函数计算方式
扩展程序参数配置 DataWorks支持在扩展程序开发过程中使用参数来提高扩展程序开发和应用效率，在扩展程序代码开发时，将需要应用的参数添加至此处即可。您可直接使用DataWorks提供的典型应用场景的内置参数，也可自定义参数。支持添加多个...
iOS 环境切换
应用开发过程中，经常会有更换应用环境信息或多套环境并行研发的需求。mPaaS 提供工具可帮助您在开发过程中方便地进行环境切换。根据切换环境的需求不同，分为以下两种方式：静态切换环境 动态切换环境 静态切换环境 静态切换环境指客户端...
周期性调度作业概述
任务开发运行过程中可能会产生的其他费用，包含但不限于：数据库费用：数据同步时，读写上下游数据库中的数据，可能会产生数据库费用。计算和存储费用：运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。例如，运行一个MaxCompute...
使用流程
业务合作流程 在业务合作流程中，分为线下沟通流程和平台参与流程，具体业务合作流程参见以下流程图。产品使用流程 多方安全建模服务可以在保证多方原始数据不离开本地前提下，通过交换信息量完成模型训练。模型训练完成后，各参与方只持有...
环境准备
说明 DataWorks的工作空间分为 简单模式 和 标准模式：简单模式：指一个DataWorks工作空间对应一个引擎项目，无法设置开发和生产环境，只能进行简单的数据开发，无法对数据开发流程以及表权限进行强控制。标准模式：指一个DataWorks工作...
个人设置
警告校验 用于设置在代码开发过程中是否提供研发规范校验，将给出提示。代码提示 用于在输入代码时，提供如下智能提示：连续智能提示：智能感知输入目的，连续给出下一步输入提示建议。关键字：提示代码支持输入的关键字。语法模板：代码...
添加或引用自定义页面组件
具体步骤请参见：开发流程。场景二、引用物料市场的自定义页面组件模块 物料市场中有页面组件的模块，应用直接引用对应功能的模块，即可直接使用模块里的自定义页面组件。具体操作步骤如下：在物料市场收藏页面组件模块，具体操作步骤请...
创建和使用EMR资源
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
任务调度属性配置概述
详情请参见 通用开发流程。已开启工作空间调度开关。仅当DataWorks工作空间开启 启用调度周期 开关后，工作空间中的任务才可以根据其配置自动调度运行。您需进入工作空间的 调度设置 页面，开启相应开关，详情请参见 调度设置。注意事项 ...
添加或引入自定义逻辑流操作
具体步骤请参见：开发流程。场景二、引用物料市场的自定义逻辑流操作模块 物料市场中有逻辑流操作的模块，应用直接引用对应功能的模块，即可直接使用模块里的自定义逻辑流操作。具体操作步骤如下：在物料市场收藏逻辑流操作模块，具体操作...
文档修订记录
为您介绍在DataWorks上使用CDP/CDH的基本开发流程，以及相关费用说明、环境准备、权限控制等内容。DataWorks On CDP/CDH使用说明 2024.2.19 新增功能 数据开发 新增CDH集群节点。您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、...
概述
物模型接入模式 物模型可以屏蔽底层设备差异，让软件开发者基于平台提供的标准API进行开发，让硬件开发者基于平台提供的标准协议开发，从而达到软硬开发解耦的目的。物模型详细介绍请参见 物模型。在物模型模式下，设备与云端的交互协议、...
模型管理
说明 编辑修改表信息后，需发布物化至引擎，才能在后续开发过程中使用最新修改后的表。刷新模型信息：单击 刷新 可对当前变内容进行刷新，以获取最新的表信息。配置模型关联关系：单击 关联关系 即可创建或修改当前模型的关联关系。提交...
本地开发测试
下文介绍组件开发过程和测试效果。前提条件 已完成环境安装和项目文件初始化。详细内容请参见 准备环境。步骤一：开发属性文件specs 组件能力描述内容，主要集中在项目文件的 src/specs/specs.js 文件中，用于开发组件的属性、服务和事件...
开发计划
流程步骤 owner 备注 建立开发计划 产品 产品是计划管理员，负责建立和结束计划 埋点需求编辑、发布 产品 方案中的埋点需求加入开发计划 埋点开发 研发 线上仅流程，实际开发过程是离线的 埋点测试 测试 线上仅流程，提供测试工具，测试...
创建Hologres数据源
后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On Hologres使用说明，了解在DataWorks使用Hologres的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：...
测试应用扩展程序
更多触发示例请参见 应用示例：数据开发过程触发事件检查。提交扩展程序审核 完成扩展程序测试后，在上线扩展程序前，您需要将扩展程序进行提交，完成提交后等待DataWorks平台审核后即可上线扩展程序。进入扩展程序页面。登录 DataWorks...
2.自定义组件说明
在组件开发过程中可以引用相关定义辅助代码开发。后续如果升级 API，只需要初始化一个新的组件项目，用最新的 src/api 目录替换旧的 src/api 目录即可。编译产物 查看编译产物，可以看出这是组件的 umd 产物。平台加载组件，就是加载组件的...
计费方式
本文为您介绍DataWorks数据集成的计费要点和各功能模块的软件费用详情。运行数据集成任务会产生DataWorks相关费用，此外还可能其他产品费用，具体如下：DataWorks相关收费 数据集成资源组（独享数据集成资源组计费说明：包年包月，如果使用...
创建并管理工作空间
添加成员、角色及查看权限列表 在实际开发过程中，您需将各个RAM用户添加至工作空间，并授予空间管理员、开发、运维、访客等多种空间预设角色，以实现多角色协同工作。不同角色对DataWorks各功能模块的相关操作拥有的权限存在差异。若空间...
全景视角
数据生产视角：在数据开发场景下，建议您使用数据生产视角，关注查看数据开发过程中表、开发任务、数据服务、数据质量等方面的情况。详情请参见：数据生产视角。说明 您当前登录的账号需要拥有 AliyunDataWorksFullAccess 权限，才能使用 ...
开发可视化应用监控树莓派状态
如果您想进一步体验IoT Studio的Web可视化和业务逻辑功能，可继续执行后续步骤，体验 监控机房温湿度 案例的开发过程。后续步骤 添加温湿度传感器，完成检测设备数据的目标，实现对机房温度和湿度环境参数的数据展示。为温湿度传感器定义物...
设计阶段
将上述内容产出为 ETL文档 留存，ETL将作为后续开发流程的第一参考依据。调度设计 依赖设计 将ETL抽象为多个相互依赖的代码节点形成上下游依赖关系，要求如下：一个节点仅产出一张表，一张表仅由一个节点产出。下游节点的输入数据来自于...
MaxCompute数据访问权限控制
说明 DataWorks的 安全中心 为您提供默认的权限申请审批流程，同时也支持您在 审批中心 自定义审批流程。当您申请MaxCompute引擎表字段权限时，DataWorks会根据申请的表字段来识别需要进行哪种类型的审批流程。使用限制 目前仅支持申请...
代码评审
DataWorks的强制代码评审为工作空间维度开启，开启后，开发人员提交的节点代码必须通过评审人员的审核才可发布。同时，您可指定代码评审的基线范围（即对哪类基线任务进行评审），把控高优先级任务的代码质量，防止任务运行失败阻塞其他...
创建MaxCompute数据源
后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On MaxCompute使用说明，了解在DataWorks使用MaxCompute的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：...
接入第三方 SDK 目录
为保障移动开发平台 mPaaS 的稳定运行或实现相关功能，我们可能会接入由第三方提供的软件开发包 SDK。接入的部分第三方 SDK 可能涉及收集用户信息，用于向用户提供服务。我们会评估该第三方收集信息的合法性、正当性、必要性，要求第三方对...
UpdateIDEEventResult
用于在数据开发过程中触发扩展点时，通过调用UpdateIDEEventResult接口，将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
加工数据
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，展开目标业务流程。右键单击 MaxCompute，选择 新建表。在 新建表 对话框中，输入表名称，单击 新建...
DataWorks OpenAPI概述
DataWorks企业版免费额度用尽后，支持根据按量计费的价格进行收费，公共云的计费如上所示，政务云环境下超出后的计费为0.6元/万次，金融云环境下超出后的计费为0.57元/万次，实际计费价格以最终账单显示的价格为准。只有当API调用成功后，...
- 产品推荐
- 这些文档可能帮助您