DataWorks On Hologres使用说明
费用 说明 数据库费用 数据同步时，读写上下游数据库中的数据，可能会产生数据库费用。计算和存储费用 运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。例如，运行一个Hologres SQL任务，查询Hologres的数据，可能会产生Hologres...
ETL工作流快速体验
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...
通过上传本地数据新建数据集
参数 说明 数据名称 自定义导入的数据名称。目标数据源 选择数据源，作为导入数据的存储库。说明 支持的资源类型有MaxCompute、Hive、RDS MySQL、OTS和ADB。数据目录 选择目录，将数据表进行归类展示。描述文字 导入数据的描述，自定义即可...
创建安全规则
安全规则是通过一组领域专用语言DSL（Domain Specific Language）对数据库实现精细化管控的规则集合，您在使用DMS的查询、导出、变更等功能时，可以通过安全规则管控这些功能行为，从而在平台内制定和打造数据库的操作规范和研发流程。...
扩展程序概述
权限说明 开放平台管理员 和 租户管理员 拥有 开发者后台 的读写权限，其他租户级角色、空间级角色仅拥有开发者后台的只读权限。详情请参见 全局级模块权限控制。仅支持阿里云主账号或者拥有 AliyunDataWorksFullAccess 权限的RAM用户进行...
2023年
TimeTravel查询与Incremental查询 2023-06-26 新增近实时增量导入 新说明 数据流入Transactional Table 2.0主要存在近实时增量写入和批量写入两种场景，本文为您介绍高并发近实时增量写入场景的架构设计。近实时增量导入 2023-06-26 新增表...
2022年
本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您介绍如何读写MaxCompute数据。模拟IDC Spark读写MaxCompute实践 2022-07-07 Unload。更新说明 支持使用Unload函数从MaxCompute导出数据到OSS时，自定义设置...
文档更新动态（2022年之前）
更新说明 权限管理 2021年09月10日 新增用户角色和权限 补充了Dataphin支持的用户和角色、Datphin权限体系、项目内权限说明等内容。新增说明 用户角色和权限 2021年08月 更新时间 特性 描述 类别 产品文档 2021年08月24日 产品计费策略：...
数据保护规则简介
各权限说明如下：说明 用户权限设定对 rules 下的所有规则生效。restrictedAccess：部分被保护数据可控访问。服务端返回基于可解密的加密的数据。用户可以使用相同的密钥在客户端解密后获取到明文数据内容。noneAccess：被保护数据全遮掩，...
数据服务权限列表
数据服务总览、个人工作台、运维管理和平台管理模块中四种角色的具体权限说明：数据服务总览 个人工作台 运维管理 平台管理 数据服务总览 权限点 服务项目管理员 开发用户 业务应用用户 运维用户 查看API服务列表 Y Y Y Y 查看API文档 Y Y ...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
注册CDH或CDP集群至DataWorks
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
文档更新动态（2023年）
新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 资产全景及目录-数据探查（需开通质量模块才可使用该功能）新增数据探查功能，支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
计费逻辑说明
计费项 计费方式 计费项说明 其他说明 数据质量规则实例个数 按量付费 根据产生的数据质量规则实例数量进行计费，详情请参见 数据质量计费说明。说明 若您使用了数据质量功能，并成功触发校验规则，则将产生数据质量实例检查费用。例如，...
新功能发布记录
只读副本管理 只读副本计费说明 数据库代理服务支持独享规格 OceanBase 数据库代理提供两种类型的代理服务：共享代理和独占代理。共享代理：共享CPU物理资源，不收取任何费用，限时免费。独占代理：独占CPU物理资源，按量计费，具备更好的...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
实时同步常见问题
实时同步Hologres报错：permission denied for database xxx 实时同步Hologres数据时，需要在Hologres给当前操作用户Hologres实例的admin权限（需要有创建schema的权限），操作详情可参见 Hologres权限模型概述。实时同步至MaxCompute报错...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
配置跨库Spark SQL节点
说明 数据库别名由数字、大小写字母及下划线（_）组成，且长度不超过32个字符。如需添加多个目标数据库，单击数据库右侧的。在SQL区域，编写Spark SQL语句，并进行试运行。编写Spark SQL语句，并单击 保存。例如，从qntext数据库的ex_...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
DataWorks准备工作流程
DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
准备环境
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
功能发布记录（2024年）
2024.2.21 所有地域 所有DataWorks用户 DataWorks On CDP/CDH使用说明 数据服务支持实例模式的StarRocks数据源 开通E-MapReduce Serverless StarRocks集群后，您可在DataWorks中通过实例模式新增StarRocks数据源，DataWorks数据服务支持...
星环ArgoDB/TDH Inceptor物理表和字段详情
说明 数据预览为您展示20条抽样查询数据。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时...
MaxCompute安全白皮书
说明 在一些传统的强制访问控制系统中，为了防止数据在项目空间内部的任意分发，一般还支持更多复杂的安全策略，例如：不允许用户写敏感等级不高于用户等级的数据（No-WriteDown）。但在MaxCompute平台中，考虑到项目空间管理员对数据敏感...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
功能发布记录（2022年）
说明 数据治理中心在2022年7月5日全面开放使用，提供为期1个月的限时体验。2022年8月5日后，所有能力将在DataWorks企业版中提供。2022.6.27 华东1（杭州），华东2（上海），华北2（北京），华南1（深圳），西南1（成都），新加坡，美国...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
Github实时数据同步与分析
MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据可视化 所需费用 0元 阿里云提供一定额度的资源包供您免费体验，开通后会使用计算、存储的免费资源包分别进行抵扣，各自的超出部分均会按量计费，免费额度详情请参见 新...
Hologres物理表和字段详情
说明 数据预览为您展示20条抽样查询数据。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时...
Hologres物理表和字段详情
说明 数据预览为您展示20条抽样查询数据。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时...
MaxCompute物理表和字段详情
说明 数据预览为您展示20条抽样查询数据。③血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时解析...
MaxCompute物理表和字段详情
说明 数据预览为您展示20条抽样查询数据。③血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时解析...
无感数据集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
AnalyticDB for PostgreSQL物理表和字段详情
说明 数据预览为您展示20条抽样查询数据。AnalyticDB for PostgreSQL类型的数据表，暂无法为您获取分区信息，默认全表扫描。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及...
逻辑表和字段资产详情
说明 数据预览为您展示20条抽样查询数据。当计算引擎为Impala且数据表的存储类型为Kudu时，默认使用Impala SQL进行查询。当计算引擎为StarRocks时，数据预览为您展示前50条查询数据，不含分区信息。若字段类型为HLL（HyperLoglog）时，暂...
- 产品推荐
- 这些文档可能帮助您