流程管控

背景信息 DataWorks的工作空间分为 标准模式和简单模式,不同模式工作空间下任务的开发流程存在一定差异,两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示,在通用流程的关键节点,例如,...

数据开发概述

标准模式工作空间开发流程 简单模式工作空间开发流程 基本流程:以标准模式为例,调度任务的开发流程包括开发、调试、调度配置、提交、发布、运维等阶段。其中,任务开发的通用开发流程,请参见 通用开发流程。流程管控:任务在开发过程可...

数据治理中心概述

相关概念 检查项:用于任务提交、发布等环节的事前检查,在开发流程中检测不符合数据规范的内容,生成影响开发流程正常执行的问题事件,约束、管理开发流程。例如,检查项可以配置为禁止使用 select*语句,不允许通过 create table 语句...

通用开发流程

开发流程 数据开发任务的通用开发流程如下。步骤 描述 相关文档 步骤一:新建业务流程 DataWorks数据开发基于业务流程组织与开发代码,您需先新建业务流程,才可进行后续的开发工作。创建业务流程 步骤二:新建数据表 DataWorks支持使用...

技术架构选型

在数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

概述

关于如何自定义逻辑流操作,详细操作请参见 开发流程。自定义模块 当您需要对一个特定领域的问题创建一个完整的解决方案时,您可以尝试使用自定义模块将解决方案进行封装,以便在多个项目中复用。模块可以承载解决方案所需要的组件、页面、...

总览

故本教程也将基于此场景,从创建 Android 原生工程,到接入 mPaaS,再到接入小程序进行开发,最后到发布小程序并在 App 中打开,对整个开发流程进行完整的演示。接入方式选择 移动开发平台 mPaaS 支持多种 不同的接入方式,如果您想要像...

什么是Web可视化开发

Web可视化开发工作台是物联网应用开发(IoT Studio)中的工具。无需写代码,只需在编辑器中,拖拽组件到画布上,再配置组件的显示样式、数据源及交互动作,以可视化的方式进行Web应用开发。适用于开发状态监控面板、设备管理后台、设备数据...

开发流程

开发过程中会涉及一些基本概念,详细说明请参见 基本概念。自定义页面组件在魔笔应用中的运行逻辑 流程简介 开发自定义页面组件的整体流程如下:前提条件 已安装v16.x版本的 Node.js,例如v16.16.0。操作步骤 本地安装离线版脚手架。单击...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

开发阶段

开发过程中,开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试,以便后续测试工作可以顺利开展。开发阶段的流程包括以下步骤:代码开发 该部分内容请参见 编码规范,编码时需要注意以下问题:层次分明、结构化强。增加必要...

迁移Function Studio代码至云效服务平台

MaxCompute UDF开发流程 通过DataWorks可视化上传资源 通过DataWorks可视化方式基于资源注册函数 方案二:通过Java或Python代码,在本地IntelliJ IDEA安装MaxCompute Studio插件,开发自定义UDF。本地开发完成后,您可直接将资源、函数上传...

Link SDK运行相关问题

本文介绍使用Link SDK过程中可能遇到的常见问题和解决方法。Link SDK支持什么环境?Link SDK是跨平台的,用户可以自行移植到目标平台上运行,开发环境推荐Ubuntu16.04。Link SDK占用多少RAM?MQTT协议数据传输通过mbedTLS,Link SDK消耗35 ...

项目分配与安全

在为企业级大数据平台创建项目时,建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目,对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权,并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情,请参见 安全模型。

权限管理与规范化数据开发

进入 数据建模 阿里云DataWorks联合建模工具DDM(Datablau Data Modeler)为您提供一体化的数据建模解决方案,我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程,助力用户实现数据资产价值化输出,在数据全生命周期上...

应用示例:数据开发过程触发事件检查

本文将为您介绍数据开发DataStudio中支持的扩展点事件,以及使用扩展点触发扩展程序的操作过程。前提条件 已开启消息订阅操作,详情请参见 开启消息订阅。已完成扩展程序的开发部署操作,详情请参见 开发部署扩展程序。背景信息 启动扩展...

创建并使用PAI Designer

人工智能平台PAI的 可视化建模Designer,用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点,方便您通过该算法节点载入Designer工作流,通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...

环境要求与配置

本文介绍集成C Link SDK所需的硬件环境和开发环境要求,以及编译配置与运行说明。硬件环境 目前仅支持Linux系统或者其他兼容POSIX接口的系统。设备支持TCP/IP协议栈,或通过外接模组等方式支持该协议栈。设备至少拥有1M ROM和256KB RAM。C ...

开发计划

概述 提供开发计划管理功能模块,对埋点开发流程进行工具化管理,实现埋点任务的线上分发与线上流转。从需求阶段、开发阶段、测试阶段到发布阶段每个环节需要对应不同角色进行管理,涉及产品、研发、测试三种角色,建立开发计划、埋点需求...

测试应用扩展程序

更多触发示例请参见 应用示例:数据开发过程触发事件检查。提交扩展程序审核 完成扩展程序测试后,在上线扩展程序前,您需要将扩展程序进行提交,完成提交后等待DataWorks平台审核后即可上线扩展程序。进入扩展程序页面。登录 DataWorks...

开发部署扩展程序:自建服务方式

在DataWorks扩展程序中,您可以自定义逻辑以监管用户的操作行为,例如拦截和阻断不当行为,通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍如何通过自建服务开发部署扩展程序。权限说明 开放平台管理员 和 租户管理员 拥有 ...

创建和使用EMR资源

DataWorks支持可视化创建EMR(E-MapReduce)JAR、EMR(E-MapReduce)FILE资源,用于上传提交自定义函数或开源MR示例源码作为资源,便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源,并上传提交资源,为资源的使用做好前期...

扩展程序概述

DataWorks通过OpenEvent能力为您提供消息推送订阅能力,同时您可以将服务程序注册为DataWorks的扩展程序,通过扩展程序来卡点并响应订阅的事件消息,以此实现通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍通过OpenEvent和...

环境准备

说明 DataWorks的工作空间分为 简单模式 和 标准模式:简单模式:指一个DataWorks工作空间对应一个引擎项目,无法设置开发和生产环境,只能进行简单的数据开发,无法对数据开发流程以及表权限进行强控制。标准模式:指一个DataWorks工作...

设计阶段

将上述内容产出为 ETL文档 留存,ETL将作为后续开发流程的第一参考依据。调度设计 依赖设计 将ETL抽象为多个相互依赖的代码节点形成上下游依赖关系,要求如下:一个节点仅产出一张表,一张表仅由一个节点产出。下游节点的输入数据来自于...

个人设置

您可使用个人设置功能,自定义目标工作空间中数据开发(DataStudio)界面的布局和风格。例如,更改DataStudio左侧导航栏显示的功能模块、切换开发界面的背景颜色,以及设置编辑器可进行代码错误检查、自动换行、自动保存等。进入个人设置 ...

场景:工作空间模式升级(简单模式升级标准模式)

操作须知 升级工作空间模式前,您需先了解以下内容:了解简单模式与标准模式工作空间的区别,包括不同工作空间模式的物理形态、开发流程等差异,详情请参见 必读:简单模式和标准模式的区别。了解创建并绑定数据源的相关内容,详情请参见 ...

入门概述

请安装好设备固件开发所需的Linux开发环境,建议使用64位Ubuntu 20.04开发环境。请安装好用于烧录设备证书和固件的串口烧录调试工具。设备使用SDK和证书接入生活物联网平台。由于各类设备的烧录方式略有差异,本文以烧录一方芯片TG7100B为...

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...

数据开发:开发者

本文以使用MaxCompute数据源,在DataWorks上运行MaxCompute作业任务为例,为您介绍开发人员如何使用数据开发(DataStudio)创建一个周期调度任务,帮助您快速了解数据开发(DataStudio)模块的基本使用。前提条件 已完成开发前的环境准备,...

开发可视化应用监控树莓派状态

物联网应用开发(IoT Studio)中的Web可视化开发工具可帮助您开发一个基于网页的控制界面,无需编写代码,十分的方便快捷。本文介绍通过开发Web应用,实现检测边缘计算机状态和控制设备电源指示灯开关的功能。前提条件 已完成项目开发和...

文档修订记录

为您介绍在DataWorks上使用CDP/CDH的基本开发流程,以及相关费用说明、环境准备、权限控制等内容。DataWorks On CDP/CDH使用说明 2024.2.19 新增功能 数据开发 新增CDH集群节点。您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、...

开发部署扩展程序:函数计算方式

在DataWorks扩展程序中,您可以自定义逻辑以监管用户的操作行为,例如拦截和阻断不当行为,通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍如何通过函数计算方式开发部署扩展程序。权限说明 开放平台管理员 和 租户管理员 ...

MaxCompute数据访问权限控制

背景信息 DataWorks通过空间预设角色与空间自定义角色与开发环境引擎Role映射,来让被授予空间角色的RAM用户拥有该角色映射的开发引擎Role权限,但默认无生产权限。您可通过DataWorks安全中心实现MaxCompute数据权限管控。应用场景 场景 同...

DataWorks On CDP/CDH使用说明

本文为您介绍在DataWorks上使用CDP/CDH的基本开发流程,以及相关 费用说明、环境准备、权限控制 等内容。背景信息 CDH是Cloudera的开源平台发行版,提供开箱即用的集群管理、集群监控、集群诊断等功能,并支持使用多种组件,助力您执行...

DataWorks On Hologres使用说明

同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力,您可将其他数据源的数据同步至Hologres数据源,或将Hologres数据源的...

DataWorks On MaxCompute使用说明

同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力,您可将其他数据源的数据同步至MaxCompute数据源,或将MaxCompute数据...

创建Hologres数据源

后续操作 为保障您的开发过程更加顺畅,建议先阅读 DataWorks On Hologres使用说明,了解在DataWorks使用Hologres的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:...

创建MaxCompute数据源

后续操作 为保障您的开发过程更加顺畅,建议先阅读 DataWorks On MaxCompute使用说明,了解在DataWorks使用MaxCompute的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:...

DataWorks OpenAPI概述

DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口,不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
大数据开发治理平台 DataWorks 移动开发平台 mPaaS 云数据库 RDS 文件存储 CPFS 商标服务 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用