下线任务
下线任务即将该任务从开发环境删除，并将删除操作发布至生产调度系统，下线后任务将无法再调度。本文以标准模式工作空间为例，为您介绍周期调度任务的下线流程、恢复流程、任务下线后对于已生成实例及正在运行实例平台侧的处理方案。使用...
调试代码片段：快捷运行
操作步骤 进入数据开发。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树，或通过 ...
概述
本文为您介绍适用于连接和操作Hologres的常见开发工具及其使用场景，您可以选择熟悉的开发工具连接Hologres进行数据开发。工具介绍 说明 Hologres兼容PostgreSQL协议，提供JDBC/ODBC Drive：您可以从 JDBC官网 下载JDBC，使用JDBC连接时，...
扩展程序概述
应用范围 系统模块 扩展点事件 回调校验结果的OpenAPI 空间级 数据开发 文件提交前置事件 文件删除前置事件 文件发布前置事件 代码运行前置事件 表提交到开发前置事件 表提交到生产前置事件 说明 仅标准模式工作空间支持发布相关扩展点。...
DataWorks准备工作流程
DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
自定义配置
操作步骤 在应用开发界面的左侧功能区，单击 配置，系统默认进入 应用配置 页签。选择 自定义配置 页签，单击 添加配置，弹出 添加配置 对话框。说明 系统模块和被引用模块，无法进行自定义配置。配置参数 类型、名称 和 值。参数说明如下...
基本概念
本文为您介绍DataWorks中，工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间...
关于 mPaaS Xcode Extension
从此告别 Xcode 启动卡死、操作无响应、系统内存飙高等困扰。启动方式 在macOS的 应用程序 中找到 mPaaS 独立的应用 mPaaSPlugin，直接运行即可。支持自定义快捷键 mPaaS Xcode Extension 支持用户为 mPaaS 菜单添加自定义快捷键，方便快捷...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
权限管理与规范化数据开发
开发角色可以不经过任何人审批，随时新增、修改代码并提交至调度系统，给生产环境带来不稳定因素。面向MaxCompute计算引擎时，开发角色默认拥有当前MaxCompute项目所有表的读写权限，可随意对表进行增加、删除和修改等操作，存在数据安全...
Oracle节点
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
SQL Server节点
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
PostgreSQL节点
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
HoloStudio一键迁移至DataStudio
超过该时间，系统将自动为您完成迁移操作，并且HoloStudio将不再提供服务。具体时间节点，请参见 DataWorks HoloStudio下线公告。HoloStudio迁移方案说明 HoloStudio核心功能包括SQL Console、PG管理、数据开发。将HoloStudio中现有能力...
数据过滤器
具体操作，请参见 开发数据服务API。创建Web可视化应用并添加组件。本文以文字组件为例。具体操作，请参见 文字。选中文字组件，单击文字提交框右侧的配置数据源按钮。在数据源配置页面，设置 选择数据源 为 接口，接口来源 为 数据分析...
HTTP触发器节点
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点>通用>HTTP触发器。您也可以打开相应的业务流程，右键单击 通用，...
文档修订记录
开发ODPS Spark任务 2023年5月更新记录 时间 特性 类别 描述 产品文档 2023.5.22 新增功能 管理控制 当在DataWorks控制台进行引擎相关操作时（如新增引擎实例、编辑已有引擎），界面会提示您需先完成授权相关操作，您根据界面提示完成授权...
创建CDH Spark节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云CDH集群，并注册CDH集群至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将...
HoloStudio快速入门
操作步骤 使用DataWorks-HoloStudio进行开发的完整操作步骤如下：新建数据库（推荐）实例购买成功后，系统会自动生成一个名叫postgres的数据库，该数据库分配的资源少且仅供管理用途，实际业务需要您新建一个DB。为节省SQL操作，Hologres...
场景：切换调度时区
由于Datatudio中业务流程运行、开发环境冒烟测试操作会进入调度系统，所以代码中时间参数将受调度时区变更影响，但Datatudio中单节点调试、临时查询等操作不走调度，所以不受调度时区变更影响。时区切换产品侧行为重点 调度时区切换后将会...
DataWorks On EMR使用说明
注册EMR集群至DataWorks 协同开发环境准备 为保障RAM用户以工作空间为单位进行协同开发，您需执行如下操作：需将进行协同开发的RAM用户添加为当前工作空间的成员，并授予其开发角色。将工作空间成员添加至EMR集群环境中。空间级模块权限...
配置检查项
在进行数据开发前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
全站CDN加速
复制 CDN 提供的新的 CNAME 地址出来，去您的域名管理系统，更新要加速的域名的解析 打开您的域名管理系统，找到之前为云开发平台部署的应用绑定的域名，点击「修改」，在弹出的修改表单中，找到记录值，把从上一步复制出来的 CDN 提供的新...
开发ODPS Spark任务
根据所使用系统类型，准备运行MaxCompute Spark任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好MaxCompute Spark...
创建并使用MaxCompute资源
前提条件 已创建MaxCompute数据源，基于该数据源执行相关开发操作。详情请参见 创建MaxCompute数据源。已创建业务流程。DataWorks使用业务流程存放创建的资源，因此，创建资源前需先创建业务流程。详情请参见 创建业务流程。已创建相应节点...
个人设置
您可使用个人设置功能，自定义目标工作空间中数据开发（DataStudio）界面的布局和风格。例如，更改DataStudio左侧导航栏显示的功能模块、切换开发界面的背景颜色，以及设置编辑器可进行代码错误检查、自动换行、自动保存等。进入个人设置 ...
如何抓取 HTTP 报文（Mac OS/Charles）
本文介绍了使用第三方工具抓取报文的操作流程。重要 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响，不做任何暗示或其他形式的承诺。背景 在基于 mPaaS 框架的移动 App 项目...
UpdateIDEEventResult
用于在数据开发过程中触发扩展点时，通过调用UpdateIDEEventResult接口，将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
默认工作空间内置逻辑说明
进行实际开发时，建议您创建自己的工作空间，将用于执行开发操作的项目（例如，MaxCompute、E-MapReduce、Hologres）创建为工作空间的数据源或集群，并绑定至数据开发（DataStudio）模块，详情请参见 创建工作空间、在工作空间创建数据源或...
系统配置
进入系统配置页面 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击...
模块开发流程
本文介绍模块开发的基本流程。模块开发流程 模块开发主要包含创建模块和引用模块。创建模块 创建应用主模块：创建应用时同步创建的模块，系统自动命名为xxx-主模块，可在模块管理中修改。在应用内和模块内均可进行模型设计，详细操作请参见...
开发ODPS MR任务
任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。MapReduce常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。
逻辑流操作
本文介绍逻辑流中使用的操作，供您在编排逻辑流时选择使用。事件 操作 逻辑流类型 说明 参数 前端逻辑...自定义逻辑流操作 自定义逻辑流操作即根据实际业务需求自定义开发的逻辑流操作。关于创建自定义逻辑流操作的详细说明请参见 开发流程。
Java容器型
然后执行4个步骤：1、从您本地目录中拖放项目根目录的src、pom.xml文件夹、文件到CloudIDE这个工程根目录下，随即系统将会执行上传拷贝操作，如下图：2、项目文件拷贝完后，您需要仔细阅读README.md配置说明，按步骤操作，各种搬站模板说明...
三方组件
物联网应用开发（IoT Studio）提供了三方组件功能。三方组件是由第三方开发者开发个人组件后，以组件包的方式上传到IoT Studio平台后提供给所有开发者使用的组件。本文主要介绍三方组件的上线、开通及其使用方法。背景信息 物联网应用开发...
流程管控
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
与本地 CI/CD hook 集成
默认采用的gitflow规则如下：{"TEST":"master","PRE":"release\/v[0-9]+\\.[0-9]+\\.[0-9]+","RELEASE":"^v[0-9]+\\.[0-9]+\\.[0-9]+$"} 在customer hook中执行阿里云云开发平台CI/CD hook#原先固有操作.#执行阿里云云开发平台CI/CD hook ...
- 产品推荐
- 这些文档可能帮助您