功能特性

安全管控 功能集 功能 功能描述 参考文档 实例管理 数据库配置 在DMS中创建或删除数据库,调整数据库的Owner、字符集或校验规则。资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时,DMS会...

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

新建数据库

服务器 Hologres实例的网络地址 实例选择后自动生成 端口 Hologres实例的网络地址 实例选择后自动生成 连通性测试 测试是否连通 无 使用新的数据库开发DB绑定成功后,返回HoloStudio,在PG管理页面单击 刷新,即可显示新的数据库,您...

连接方式概述

ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户,同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...

数据库克隆

数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中,实现全部表或部分表备份,适用多环境数据库初始化,例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同,且都为MySQL。数据库实例的...

连接方式概述

ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户,同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...

连接方式概述

ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户,同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...

开发限制

本文将介绍数据库开发过程中的使用限制。常见标识符限制 类型 最大字符长度 取值范围 Database 32 大小写字母、数字和下划线(_)。Sequence 128 任意符合Unicode编码方式的字符。Partition 16 Table 64 Column Partition Key View ...

任务调试流程

调试运行业务流程 数据开发概述,在左侧导航栏的数据开发或手动业务流程模块,双击目标业务流程,进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行(图标),即可按照依赖关系,依次运行整个业务流程中的任务。说明 当...

配置检查项

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击顶部菜单栏左侧的 图标,选择 全部产品>数据治理>数据治理中心。单击顶部菜单栏的 配置管理,在...

环境准备

说明 DataWorks的工作空间分为 简单模式 和 标准模式:简单模式:指一个DataWorks工作空间对应一个引擎项目,无法设置开发和生产环境,只能进行简单的数据开发,无法对数据开发流程以及表权限进行强控制。标准模式:指一个DataWorks工作...

通用数据开发

数据开发流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步不同业务系统的数据至MaxCompute中,方可通过MaxCompute的海量数据...

必读:简单模式和标准模式的区别

附录:不同工作空间模式下,DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 ...

权限管理与规范化数据开发

生产开发数据源 DataWorks支持基于标准模式工作空间对应的两个环境这一特性,来分别为这两个环境配置不同的数据库访问地址。即您可以在数据源配置界面分别为开发环境(DataStudio)测试运行时和生产调度时指定不同的数据库访问地址。同一个...

数据开发概述

进入数据开发 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发数据开发主要功能 数据开发(DataStudio)的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。...

通用开发流程

进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入数据开发后,您可根据下文流程创建所需任务。开发流程 数据开发任务的通用开发...

模块开发流程

本文介绍模块开发的基本流程。模块开发流程 模块开发主要包含创建模块和引用模块。创建模块 创建应用主模块:创建应用时同步创建的模块,系统自动命名为xxx-主模块,可在模块管理中修改。在应用内和模块内均可进行模型设计,详细操作请参见...

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...

准备数据

进入业务流程开发面板,并向面板中拖入一个虚拟节点(start)和三个离线同步节点(电量下降趋势数据同步、窃电标志数据同步和指标数据同步)分别填写相应的配置后,单击 提交。拖拽连线将start节点设置为三个离线同步节点的上游节点。配置...

数据质量教程概述

前提条件 在开始本教程前,请您首先完成 搭建互联网在线运行分析平台 教程,详情请参见 业务场景与开发流程。业务场景 要保证业务数据质量,首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于...

数据服务概述

DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台,作为数据库和数据应用之间的“桥梁”,DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力,帮助用户统一管理面向内外部的API服务。例如,您可以将...

DataWorks On CDP/CDH使用说明

费用 说明 数据库费用 数据同步时,读写上下游数据库中的数据时,可能会产生数据库费用。计算和存储费用 运行计算引擎任务时,可能会产生计算引擎的计算和存储费用。网络服务费用 连通DataWorks和其他相关产品的网络环境时,可能会产生网络...

DataWorks on EMR集群配置最佳实践

DataWorks支持绑定EMR(E-MapReduce)的DataLake(新版数据湖)集群为EMR计算引擎,创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务...方式二:使用阿里云关系型数据库RDS(Relational Database Service)的两个不同数据库DataBase存储。

开发流程

开发流程简介 自定义逻辑流操作开发流程如下所示:步骤一、创建自定义逻辑流操作 登录 魔笔。创建自定义逻辑流操作。配置自定义逻辑流操作。详细操作请参见 创建并配置逻辑流操作。步骤二、开发自定义操作的执行代码 在逻辑流物料面板内...

场景:工作空间模式升级(简单模式升级标准模式)

升级后:开发数据源和生产数据源完全隔离,修改开发数据源的配置信息不会影响生产数据源的使用。开发数据源对应的MaxCompute项目中不会新增开发表,您需根据业务需要创建相应开发表。创建表的相关操作,请参见 创建并使用MaxCompute表。...

数据治理中心概述

数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发数据质量及安全等维度存在的问题,并通过健康分量化评估,从全局、工作空间、个人等多个视角,以治理报告及排行榜呈现治理成果,帮助您高效达成治理目标。同时,提供...

创建Hologres数据

创建完成后,可在DataWorks的各功能模块使用该数据源连接Hologres实例,进行相应的数据同步、数据开发数据分析等操作。前提条件 已购买Hologres实例并创建数据库。操作详情请参见 购买Hologres、创建数据库。说明 建议购买Hologres实例时...

什么是云·企业官网

同时,将常见网页样式、动态效果、网站功能等,封装成控件模块,集成到可视化网站设计器,在网站制作交付后,网站维护人员无需懂代码即可管理和更新网站,集成阿里云服务器、数据库等,确保网站的快速、稳定、安全。说明 单击 云·企业官网...

采集数据

说明 在数据集成同步任务配置前,您可以在DataWorks的 数据源 页面,配置好您需要同步的源端和目标端数据库或数据仓库的相关信息,以便在同步任务配置过程中,可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。本教程提供数据...

什么是云·速成美站

云·速成美站集成 云服务器、云数据库、对象存储、全球加速、负载均衡、Web应用防火墙 等,确保网站快速、安全。云·速成美站包括1000余套精美响应式模板,真正做到一端设计,多端适用!同时覆盖多个行业,将常见的网页样式、网站功能全部...

通过脚本模式配置离线同步任务

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。开发流程 步骤一:新建离线同步节点 步骤二:配置同步网络链接 步骤三:转脚本模式并导入模板 步骤四:编辑脚本,配置...

DataWorks On EMR使用说明

费用 说明 数据库费用 数据同步时,读写上下游数据库中的数据时,可能会产生数据库费用。计算和存储费用 运行计算引擎任务时,可能会产生计算引擎的计算和存储费用。网络服务费用 连通DataWorks和其他相关产品的网络环境时,可能会产生网络...

通过向导模式配置离线同步任务

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。开发流程 步骤一:新建离线同步节点 步骤二:配置同步网络链接 步骤三:配置数据来源与去向 步骤四:配置字段映射关系 ...

文档修订记录

数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种一级脱敏场景,若该类场景生效的数据范围及用户范围无法满足您更细化的脱敏需求,则也可基于一级场景自定义二级脱敏场景使用。创建数据脱敏场景 2023.11.20 新增...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

概述

阿里云DataWorks联合建模工具DDM(Datablau Data Modeler)为您提供一体化的数据建模解决方案(DATABLAU),将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程,助力用户实现数据资产价值化输出,在数据全生命周期上夯实数据...

周期性调度作业概述

任务开发运行过程中可能会产生的其他费用,包含但不限于:数据库费用:数据同步时,读写上下游数据库中的数据,可能会产生数据库费用。计算和存储费用:运行计算引擎任务时,可能会产生计算引擎的计算和存储费用。例如,运行一个MaxCompute...

开发虚拟设备

流程开发线程长、耗时久。而虚拟设备通过模拟真实设备产生业务数据,可以快速体验IoT Studio的开发功能。本案例通过虚拟设备完成物联网应用的开发调试。操作步骤 登录 物联网应用开发控制台,在页面左上角选择对应实例后,在左侧导航栏...

概述

开发个人组件 在 组件开发 页面,根据组件开发流程图,进行单个组件开发和使用。准备环境 本地开发测试 打包本地项目文件 上传组件压缩包和截图 编辑组件 发布与使用 公开组件包 将个人组件上传到组件包,公开到市场供其他客户使用。创建...

UDAF概述

MaxCompute Studio 使用Python开发UDF时需满足Python UDF的开发规范,详情请参见 UDF开发规范与通用流程(Python3)、UDF开发规范与通用流程(Python2)。② 必选 通过本地运行或单元测试方式调试自定义函数,查看运行结果是否符合预期。③...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 DBS 云数据库 RDS 云数据库 Redis 版 云数据库 MongoDB 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用