数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
安全基线检查
前提条件 已购买数据安全中心基础版或企业版实例。具体操作，请参见 购买数据安全中心。已完成数据资产授权。具体操作，请参见 接入数据库。了解安全基线检查 数据安全中心以GB/T 37988-2019《信息安全技术数据安全能力成熟度模型》为依据...
配置ArgoDB输出组件
追加数据：即在目标表的已有的数据基础上追加数据，且不修改历史数据。追加数据策略下，当指主键/约束冲突时，会提示脏数据错误。追加数据策略下不支持合并。压缩格式 非必填项，如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行...
什么是云原生数据湖分析
支持 AnalyticDB PostgreSQL 支持 支持 MaxCompute 支持 支持 Elasticsearch 支持 支持 Cassandra 支持 支持 Kudu 支持 支持 ECS自建Druid数据库数据 支持 支持 何时使用DLA DLA主要围绕数据湖存储OSS提供一站式的云原生数据湖分析与计算...
授权信息
资源类型 资源ARN Quota acs:odps:{#regionId}:{#accountId}:quota/{#NickName} Project acs:odps:{#regionId}:{#accountId}:projects/{#ProjectName} 条件（Condition）下表是 云原生大数据计算服务 MaxCompute（MaxCompute）定义的产品级...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
实例画像
前提条件 支持如下数据库引擎：RDS MySQL PolarDB MySQL版 MyBase MySQL 重要 实例画像功能当前不支持 RDS MySQL 基础系列。数据库实例已接入DAS中，并且接入状态显示为 连接正常，详情请参见 接入阿里云数据库实例。说明 数据库自治服务...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
技术架构
PolarFS作为一款与PolarDB深度协同的存储基础设施，其最核心的竞争力不仅体现在性能和扩展性方面，更深层次的则是在面临有许多挑战性的PolarDB客户业务需求和规模化的公有云研发运维过程中而长期积累形成的一系列高可靠、高可用、与数据库...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
实例画像
前提条件 数据库实例已接入DAS中，并且接入状态显示为 连接正常，详情请参见 接入阿里云数据库实例。重要 实例画像功能当前不支持 RDS MySQL 基础系列。数据库自治服务DAS从2022年12月5日开始逐步支持实例画像功能。功能说明 实例画像功能...
升级实例配置
前提条件 数据迁移任务在升级配置前，须处于 迁移中、暂停中 或 迁移失败 状态。升级实例配置的操作，仅适用于数据迁移任务和数据同步作业。数据订阅通道无需升级实例配置。注意事项 实例只能升级配置，不能降级配置。升级生效期间增量数据...
配置ClickHouse输出组件
追加数据即在目标表已有的数据基础上追加数据，且不修改历史数据。批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据...
2021年
2021年12月 功能 功能描述 相关文档 Serverless版本 AnalyticDB PostgreSQL版Serverless版本 利用云基础设施提供的资源池化和海量存储能力，结合传统MPP数据库技术、离在线一体化技术和Serverless技术，实现了计算存储分离、秒级扩缩容和多...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
配置ClickHouse输出组件
追加数据即在目标表已有的数据基础上追加数据，且不修改历史数据。批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据...
索引加速
本文主要介绍 云数据库 SelectDB 版 中内建的智能索引以及使用时的注意事项。背景信息 索引用于快速过滤或查找数据。目前 云数据库 SelectDB 版 主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。创建的二级索引，包括倒排...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
恢复库表
前提条件 RDS PostgreSQL实例需满足以下条件：大版本：10、11、12、13、14、15（不支持Serverless实例）系列：基础系列、高可用系列 存储类型：ESSD云盘 说明 您可以前往实例 基本信息 页面查看以上信息。如果您的实例在2022年10月10日前...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
配置自定义区域右上角组件数据
可视化应用创建完成后，您可以通过以下方式配置全国疫情分布可视化应用中右上角自定义区域内组件的数据。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用。快速选中自定义区域面板内组件 登录 DataV控制台。在 我的可视化 ...
配置自定义区域右上角组件数据
可视化应用创建完成后，您可以通过以下方式配置全国疫情分布可视化应用中右上角自定义区域内组件的数据。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用。快速选中自定义区域面板内组件 登录 DataV控制台。在 我的可视化 ...
Serverless模式
AnalyticDB PostgreSQL版 全新推出Serverless模式，利用云基础设施提供的资源池化和海量存储能力，结合传统MPP数据库技术、离在线一体化技术和Serverless技术，实现了计算存储分离、秒级扩缩容和多实例数据实时共享的特性。简介 AnalyticDB...
数据服务概述
功能介绍 数据服务采用Serverless架构，您只需要关注API本身的查询逻辑，无需关心运行环境等基础设施，数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。说明 如果使用数据服务过程中遇到问题，请单击 群邀请 加入DataWorks交流...
同数据库归档
前提条件 数据库类型为MySQL系列：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。物理库和逻辑库均支持。实例已录入DMS。具体操作，请参见 云数据库录入 和 他云/自建数据库...
通过RAM角色授权模式配置数据源
背景信息 数据源是数据同步任务的基础，同时关系着企业云上数据的安全性。DataWorks支持您使用更高安全系数的 RAM角色授权模式 配置并访问OSS、AnalyticDB for MySQL 2.0、LogHub、Tablestore和Hologres等部分数据源，以提升云上数据的安全...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
DataV读取数据源超时
解决方案 执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的...
配置同步任务
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。Copy模式：AnalyticDB for PostgreSQL提供copy命令，用于表与文件（标准输出，标准输入）之间的相互复制。数据同步支持使用 copy from 将数据加载到表中，并且在遇到...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
DataV6.0数据集介绍
本教程主要包括数据集的介绍、数据集的创建、数据集的应用场景以及数据集的组件生成方法，并以柱状图和基础平面地图组件为例介绍数据集的创建步骤。介绍 DataV数据集支持多种数据源的接入，如数据库、Excel表格文件等，通过对数据的结构化...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
导入数据
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...
表设计规范
此方式仅可应用于数据基础层。数据导入通道与表设计 通道类型有以下几种：DataHub 规划写入的分区与写入流量之间的关系。数据达到64 MB会执行1次Commit。数据集成或DataX 规划写入表分区的频率。数据达到64 MB会执行1次Commit，以免Commit...
风险识别管理（新版）
3 规则的描述信息 基础配置>备注 基本信息>描述信息 4 规则生效的引擎 规则项>引擎 规则定义>条件设置 区域，选择条件 选择 数据位置 时，所配置的 数据引擎名称。5 规则生效的项目空间 规则项>项目空间 规则定义>条件设置 区域，选择条件 ...
快照备份
RDS SQL Server支持快照备份功能，相对于常规的物理备份方式，快照备份可大幅缩短数据库的恢复时间，同时支持更大的备份数据量。功能介绍 RDS SQL Server提供了快照备份和物理备份两种备份方式。物理备份恢复速率受限于20 MB/s，最大仅支持...
数据归档OSS
云盘版本的RDS SQL Server实例数据文件通常存储在ESSD云盘中，在数据量较大时，会面临较高的存储成本。为了帮助用户实现降本增效，RDS SQL Server提供了数据库级别的数据归档至对象存储OSS的功能。该功能允许用户在控制台数据库管理页面或...
通过上传本地数据新建数据集
前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表。说明 待上传数据表要求：支持上传.xls和.xlsx格式的文件，且文件大小不超过35 MB。准备数据表时，数据表填写须知：请在第一行中填写...
配置同步任务
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。Copy模式：AnalyticDB for PostgreSQL提供copy命令，用于表与文件（标准输出，标准输入）之间的相互复制。数据同步支持使用 copy from 将数据加载到表中，并且在遇到...
- 产品推荐
- 这些文档可能帮助您