创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
数据脱敏
背景信息 数据库审计系统提供10条内置的数据脱敏规则，并默认启用所有内置规则。您执行审计日志查询操作时，在展示查询结果前，数据库审计系统会自动匹配已开启的所有数据脱敏规则，匹配命中的数据以*（星号）掩码展示。新增、启用、禁用、...
导出数据
数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。说明 建议导出的数据超过200条时使用数据水印嵌入。未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到...
新建数据处理任务
背景信息 数据处理支持以下数据格式的输入和输出：类型 输入格式 输出格式 倾斜数据 OSGB S3M、3DTiles 地形数据 GeoTIFF QUANTIZED_MESH 三维模型 FBX、GLTF S3M、3DTiles 影像优化 GeoTIFF GeoTIFF(cog)操作步骤 登录 数据资源平台控制台...
从零开始完成无锁结构变更
基本信息 数据库类型 选择数据库实例的类型。实例地区 选择数据库实例所在的地域。其他主账号 若您选择 跨阿里云账号实例，则会出现该配置项。选择数据库实例所属的主账号。说明 如果主账号不在选择列表中，您可以单击 添加用户，添加数据...
配置数据质量监控
背景信息 数据质量 是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据表监控。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，...
配置数据质量监控
背景信息 数据质量 是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据表监控。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，...
云数据库录入
基本信息 数据库类型 选择数据库实例的类型。实例地区 选择数据库实例所在的地域。其他主账号 若您选择 跨阿里云账号实例，则会出现该配置项。选择数据库实例所属的主账号。说明 如果主账号不在选择列表中，您可以单击 添加用户，添加数据...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
通过DMS连接StarRocks实例
基本信息 数据库类型 StarRocks。实例地区 选择在EMR控制台创建的StarRocks实例所在的地域。其他主账号 如果您选择 跨阿里云账号实例，则会出现该配置项。选择数据库实例所属的阿里云账号（主账号）。说明 如果主账号不在选择列表中，您...
数据质量入门
背景信息 数据质量支持以表为维度，为某个表配置质量规则；或以规则模板为维度，批量为多个表配置某个质量规则。本文仅以配置单表的质量规则示例。使用模板批量为多个表配置质量规则，详情请参见 配置规则：按模板（批量）。更多数据质量...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
GetQuotaSchedule-获取Quota时间计划信息
异常信息 data object[]返回数据。id string quota 计划 id 63 type string 类型 once plan string 计划名称 planA condition object 条件值 at string 生效时间 0900 after string 生效开始时间 2022-04-25T04:23:04Z operator string ...
查看集群日报与分析
Hive文件大小分布Top信息提供以下数据：Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题，大量的小文件会严重拖累计算流程，...
表设计最佳实践
基本信息 数据信息包括地名、关于此地的属性信息（例如，面积和基本人口数量等）和天气信息。属性的数据变化较小，但天气信息数据采用多个终端采集，且数据量较大。天气信息变化较大，但在终端数量稳定的情况下流量基本稳定。表设计指南 ...
GetProject-获取项目信息
200 errorCode string 错误码 040002 errorMsg string 错误信息 error message.data object 返回数据 name string 项目名称 odps_project owner string 项目 owner 1565950907343451 type string 项目类型。取值：managed：内部项目。...
审批中心概述
您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控，也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则，从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。更多信息...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
数据域
背景信息 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。由上图所示，数据域规划...
SQL结果集导出
数据水印信息 是 请输入数据水印信息。水印嵌入字段 否 请输入水印嵌入字段。说明 若您未指定水印嵌入字段，系统会默认选择一个字段。主键/唯一键 否 请输入主键/唯一键，多个数据之间使用英文逗号（,）分割。说明 建议您填写该信息，可以...
基于MaxCompute进行大数据BI分析
背景信息 MaxCompute：用于进行大规模数据计算，详情请参见 什么是MaxCompute。AnalyticDB MySQL：用于进行海量数据实时高并发在线分析，详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks：可实现ETL功能，对复杂数据集进行采集、...
数据水印
水印嵌入方式（必选）您可选择如下嵌入方式：数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。文件水印：是指将标识信息通过一定方式嵌入到文件中，该水印信息数据使用者可以直接看到。数据水印信息/...
数据集市
背景信息 数据集市是对某个业务分类制定细化的业务主题，并通过主题域，基于不同分析视角对目标集市中的数据进行主题划分，最终面向业务应用统计分析数据。例如，运营平台数据集市。创建数据集市 进入 数据集市。登录 DataWorks控制台，...
报警信息
您可以使用报警信息功能查看智能监控模块产生的所有报警信息。包括智能基线产生的基线预警信息和事件报警信息、自定义规则报警及全局规则报警产生的报警信息。本文为您介绍如何查看报警详情。背景信息 您可以在报警信息页面查看接收到的...
GetQualityRule
调用GetQualityRule获取校验规则的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
权限问题
MaxCompute表无Download权限 报错信息 解决方法 在DataWorks的 数据地图 中搜索对应的MaxCompute表，并申请开通其Download权限，运行时则可以下载相应的数据。MaxCompute表无Describe、Select等权限 报错信息 解决方法 申请对应Project下的...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
全景查看任务
任务360功能从任务的重要基础信息、任务对应的治理项问题状态、任务关联的基线列表及基线执行情况、任务实例运行情况信息、用户对任务做的治理操作等多个维度辅助您对任务进行360全景信息了解。使用限制 仅阿里云主账号和拥有 ...
GetMetaTableThemeLevel
获取表的主题和层级信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
测试数据构建
RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
租户属性
此外，如果第三方引擎需要读取MaxCompute数据，您可以开启租户级的开放存储（Storage API）功能。注意事项 租户级Schema开启后不能关闭，请谨慎开启。仅未创建过项目的租户支持开启租户级Schema功能。说明 若已创建过项目的租户需要开启...
全景查看表
表360功能从表的重要基础信息、表对应的治理项问题状态、表对应产出任务关联的基线列表及基线执行情况、表对应任务实例运行情况信息、用户对表做的治理操作等多个维度为您直观展示MaxCompute、E-MapReduce和Hologres表的基本情况。...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
概览
数据安全解决方案 数据作为企业的核心资产，数据安全是企业管理的重中之重。在传统解决方案中，存在如下问题：大量开发人员使用数据库账号密码连接数据库。由于企业人员的频繁流动（离职、转岗），安全合规上需要定期更换账号密码，账号...
- 产品推荐
- 这些文档可能帮助您