实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
配置训练数据和代码
本文介绍如何在AI开发控制台配置训练用的数据集和代码。前提条件 已创建ACK Pro版集群。ACK Pro版集群已安装云原生AI套件的 开发控制台 和 调度组件，且集群Kubernetes版本不低于1.20。集群管理员在 RAM控制台 创建子账号（即RAM用户），并...
远程配置
通过物联网平台提供的远程配置功能，开发人员可在不用重启设备或中断设备运行的情况下，在线远程更新设备的系统参数、网络参数等配置信息。前提条件 设备端SDK已支持远程配置服务。设备主动请求配置信息和物联网平台推送配置信息的Topic及...
开发者指南概述
将Dubbo应用平滑迁移到EDAS 用户文档 开发者指南 源码导读 HSF概述 启动轻量级配置及注册中心 Ali-Tomcat概述 Pandora Boot概述 容器版本说明 一次调用过程 异步调用 泛化调用 调用上下文 序列化方式选择 超时配置 服务端线程池配置 API...
离线集成概述
调度配置：调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见 离线管道调度配置。通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道...
场景：切换调度时区
由于Datatudio中业务流程运行、开发环境冒烟测试操作会进入调度系统，所以代码中时间参数将受调度时区变更影响，但Datatudio中单节点调试、临时查询等操作不走调度，所以不受调度时区变更影响。时区切换产品侧行为重点 调度时区切换后将会...
离线集成概述
调度配置：调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见 配置离线管道调度。通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道...
智能引导小助手
开发进度 在产品开发过程中，一些功能选项是产品开发必须配置的，您可以在智能开发小助手里的开发进度查看未完成的必选项，也可以在开发进度中前往必选项进行配置。接入规范 在平台开发产品，需符合平台的产品规范，在智能开发小助手中的接...
配置并使用调度参数
调度参数配置流程 调度参数的配置流程如下表。序号 描述 相关参考 1 您需在节点代码中通过${变量名} 的方式定义变量，再前往 调度配置>参数 界面为变量赋值调度参数。定义变量 2 通过可视化及表达式两种方式为代码中的变量赋值。为变量赋值...
使用流程
在 联邦建模控制台 中联邦模型开发流程如下：下方步骤 1 至步骤 5，请参见 新建脚本。创建联邦表 数据预处理 模型训练 预处理应用 模型评估 保存模型，请参见 保存模型。说明 关于联邦模型开发的更多信息请参见 联邦建模。
DataWorks on EMR集群配置最佳实践
使用DataLake（新版数据湖）集群在DataWorks上进行EMR作业的注意事项及开发流程，详情请参见 DataWorks On EMR使用说明。EMR组件配置 Kyuubi组件 在生产环境配置Kyuubi组件时，建议将 kyuubi_java_opts 内存大小调整至 10g 及以上；将 ...
流程管控
背景信息 DataWorks的工作空间分为 标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示，在通用流程的关键节点，例如，...
加工数据
进入业务流程开发面板，并向面板中拖入两个ODPS SQL节点，依次命名为 数据清洗 和 数据汇聚，并配置如下图所示的依赖关系。配置ODPS SQL节点 配置数据清洗节点。双击数据清洗节点，进入节点配置页面。编写处理逻辑。SQL逻辑如下所示。...
配置检查项
在进行数据开发前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
与本地 CI/CD hook 集成
在本地环境下，云开发平台在不影响原有开发流程的前提下提供 hook 文件支撑项目本地 CI/CD，让您的原有项目轻松升级到云原生 Serverless 架构。Hook 文件需要集成在代码托管平台的触发器逻辑中，文档以 Gitlab 举例。Gitlab 提供了两种钩子...
任务调度属性配置概述
详情请参见 通用开发流程。已开启工作空间调度开关。仅当DataWorks工作空间开启 启用调度周期 开关后，工作空间中的任务才可以根据其配置自动调度运行。您需进入工作空间的 调度设置 页面，开启相应开关，详情请参见 调度设置。注意事项 ...
开发流程
开发流程简介 自定义逻辑流操作开发流程如下所示：步骤一、创建自定义逻辑流操作 登录 魔笔。创建自定义逻辑流操作。配置自定义逻辑流操作。详细操作请参见 创建并配置逻辑流操作。步骤二、开发自定义操作的执行代码 在逻辑流物料面板内...
创建并管理工作空间
在 管理中心>工作空间 页面对指定工作空间的属性进行管理和配置，并为工作空间绑定MaxCompute、E-MapReduce等类型的计算引擎，用于进行后续开发操作。本文为您介绍工作空间的基本操作。操作入口介绍 工作空间各操作说明及入口如下表所示。...
常见问题
本文汇总了接入及使用消息推送组件的过程中经常出现的一些问题及其解决方法。通用问题 关于权限的说明 Android 6.0 后，需要用户手动授予手机权限，如读写 SD 卡。为了更加精准的发送推送，建议开发者引导获取消息推送所需权限。日志无法...
快速入门
任务流开发流程 操作步骤 步骤一：新增任务流 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据...
消息推送常见问题
本文汇总了接入及使用消息推送组件的过程中经常出现的一些问题及其解决方法。通用问题 关于权限的说明 Android 6.0 后，需要用户手动授予手机权限，如读写 SD 卡。为了更加精准的发送推送，建议开发者引导获取消息推送所需权限。日志无法...
模块开发流程
模块开发流程 模块开发主要包含创建模块和引用模块。创建模块 创建应用主模块：创建应用时同步创建的模块，系统自动命名为xxx-主模块，可在模块管理中修改。在应用内和模块内均可进行模型设计，详细操作请参见 添加页面。创建自定义模块：...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理...
创建手动任务
新建手动业务流程 DataWorks以业务流程为中心组织数据开发，通过各类型开发节点的容器看板，将相关工具、优化及管理操作围绕看板对象进行组织，使开发管理更加方便智能。您可根据业务需求，将同类型业务统一放置在一个业务流程。具体步骤...
通用开发流程
开发流程 数据开发任务的通用开发流程如下。步骤 描述 相关文档 步骤一：新建业务流程 DataWorks数据开发基于业务流程组织与开发代码，您需先新建业务流程，才可进行后续的开发工作。创建业务流程 步骤二：新建数据表 DataWorks支持使用...
平台安全诊断
DataWorks的平台安全诊断，为您提供了当前DataWorks工作空间与绑定的引擎在数据传输、存储、运算等过程中，与身份认证、访问权限控制、开发模式等功能相关的安全能力，以及诊断相关安全问题的最佳实践，帮助您及时发现平台的安全隐患，在...
概述
开发个人组件 在 组件开发 页面，根据组件开发流程图，进行单个组件开发和使用。准备环境 本地开发测试 打包本地项目文件 上传组件压缩包和截图 编辑组件 发布与使用 公开组件包 将个人组件上传到组件包，公开到市场供其他客户使用。创建...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
创建数据脱敏场景
该场景下，数据在存储过程中便会按照配置的脱敏规则识别敏感数据并将其脱敏，脱敏完成后再将数据存储至指定数据库位置。权限控制 新增、编辑、删除脱敏场景：租户管理员、租户安全管理员 可选择的数据范围为租户下所有项目空间。空间管理员...
配置限速流程组件
本文为您介绍如何配置限速流程组件。操作步骤 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。在离线单条管道脚本的开发页面，按照下图操作指引，进入 限速组件配置 页面。在 限速组件配置 对话框，配置参数。参数...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
UpdateFile-更新已有的文件节点
该参数与 DataWorks 控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。5,10,15,20 InputList string 否 文件依赖的上游文件的输出名称。依赖多个输出时，使用英文逗号（,）...
BigQuery数据源
数据同步任务开发 BigQuery数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，...
CreateFile-在数据开发中创建一个文件
调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下...
工作项规则配置
流程自动化 工作项跟进的过程中，常常遇到一些流程跟进的问题。例如，你可能苦恼于需求状态总是更新不及时，数据统计不准确；你可能苦恼于制定的流程规约难以落地，例如需求评审通过后要记录一堆字段，有的需要指给开发，有的需要进行第二...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
StarRocks数据源
数据同步任务开发 StarRocks数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，...
- 产品推荐
- 这些文档可能帮助您