使用XIHE BSP SQL进行作业开发
执行结果如下：+-+-+-+|id|name|age|+-+-+-+|4|Ban|25|1|Anna|18|3|Cindy|12|+-+-+-+步骤三：创建ADS层数据表 ADS层表数据是对DWD层数据做了更精细地过滤，可直接用于业务分析，对查询速率有一定的要求，因此创建ADS层数据表时需添加索引。...
什么是PolarDB PostgreSQL企业版
代理层不仅可以做安全认证和保护，还可以解析SQL，把写操作发送到主节点，把读操作均衡地分发到多个只读节点，实现自动的读写分离。对于应用程序来说，就像使用一个单点的数据库一样简单。产品优势 您可以像使用PostgreSQL、Oracle一样使用...
数据质量教程概述
数据质量是数据分析结论有效性和准确...及时性 及时性主要体现在最终ADS层的数据可以及时产出。为保证及时性，您需要确保整条数据加工链路上的每个环节都可以及时产出数据。本教程将利用DataWorks智能监控功能保证数据加工每个环节的及时性。
数据质量教程概述
数据质量是数据分析结论有效性和准确...及时性 及时性主要体现在最终ADS层的数据可以及时产出。为保证及时性，您需要确保整条数据加工链路上的每个环节都可以及时产出数据。本教程将利用DataWorks智能监控功能保证数据加工每个环节的及时性。
区域热力层
如果您想自定义修改默认的区域热力层地理边界geojson数据，可以通过配置地理边界geojson数据接口，可将提取到的区域GeoJSON边界数据应用到DataV中，配置方法如下。数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以...
区域热力层（v1.x版本）
区域热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括区域的标注、颜色、边线、鼠标交互事件以及位置信息等，能够以热力区域的形式表现地理位置上的区域信息。本文介绍区域热力层各配置项的含义。重要 当前为v1.x版本...
区域热力层（v2.x版本）
区域热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括区域的标注、颜色、边线、鼠标交互事件以及位置信息等，能够以热力区域的形式表现地理位置上的区域信息。本文介绍区域热力层各配置项的含义。注意 当前为v2.x版本...
区域热力层（v3.x版本）
数据源面板 数据接口 您可以通过配置数据接口，自定义区域热力层的样式。区域热力层支持数据优先渲染。选择 区域热力层 组件 数据 页签下的 数据接口。单击 配置数据源，在 设置数据源 面板中，选择 数据源类型 为 静态数据，参数说明如下...
区域热力层（v4.x版本）
省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以直接使用。地市级：以提取浙江省范围内所有地级市边界数据为例，提取方法如下图所示。区县级：以提取肇庆市范围内所有区县边界数据为例，提取方法如下图所示。...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
PolarDB并行查询
在join的表集合中，寻找一个可以做逻辑分片的表做拆分，如果3个表都不足以拆分足够多的分片，那就选最多的表，比如这里选择了t2，它可能拆出12个分片，但仍然无法满足并行度16的要求，导致有4个worker读不到数据而idle。聚集操作先在worker...
零售电商数据建模
应用数据层ADS（Application Data Service）以分析的主题对象作为建模驱动，基于公共粒度的汇总指标表，构建 直接面向业务分析需求 的业务分析指标表。推荐表名规范：ads_{业务分类}_{数据集市}_{主题域}_{自定义内容}_{时间周期}。公共层...
常见问题（FAQ）
Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且与Apache Spark API完全兼容。Databricks上的Delta Lake允许您根据...
X-Engine简介
X-Engine使用了 LSM-Tree 作为分层存储的架构基础，并进行了重新设计：热数据层和数据更新使用内存存储，通过内存数据库技术（Lock-Free index structure/append only）提高事务处理的性能。流水线事务处理机制，把事务处理的几个阶段并行...
产品概述
代理层不仅可以做安全认证、保护和会话保持，还可以解析SQL，把写操作发送到主节点，把读操作均衡地分发到多个只读节点，实现自动的读写分离。计算节点 一写多读集群内有一个读写节点以及多个只读节点，多主集群（仅MySQL版支持）内可支持...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
数仓分层
在汇总数据层同样可以关联复用统计粒度中的维度，采取更多的宽表化手段构建公共指标数据层，提升公共指标的复用性，减少重复加工。维度层（DIM，Dimension）：以维度作为建模驱动，基于每个维度的业务含义，通过添加维度属性、关联维度等...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
01新建模型目录
与明细数据层相比，维度数据层有着相同的数据粒度，但是具有更小的数据量、更快的查询速度。操作步骤 登录 数据资源平台控制台。在页面左上角选择>协同。在顶部菜单栏，单击 图标，选择工作组。在左侧导航栏，单击 图标，选择 数据模型设计...
创建逻辑模型：维度表
可以指定维度表后续在数据建模分析使用时，维度表的数据存储于数仓中的哪个数据分层，一般情况下维度表可存储于公共维度层（DIM层）。维度表创建后，您可以将维度的属性添加为维度表的字段，并对维度表进行关联和分区的设置，使用统一的...
组复制简介
组复制 的架构 如上图所示，在MySQL的Server层和Replica层之下，组复制的架构分为三层：组复制层（Group Replication Logic Layer）：在单机MySQL的Server层之下，组复制增加了组复制层，该层通过钩子（HOOK）与Server层相连，负责向组通讯...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
配置备份计划
数据库所在位置 待备份数据库实例的所在位置，支持类型如下：RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
CDM接口数据层设计规范
本文为您介绍CDM接口数据层设计规范。接口数据层将不同数据域的汇总数据预关联在一个物理表，开放给应用使用，以减少应用层多次重复JOIN的成本开销，CDM接口数据层更适用于实时计算。命名规则：{project_name}.dwi{业务 BU 缩写/pub}{数据...
使用Spark SQL进行作业开发
步骤三：创建ADS层数据表 ADS层表数据是对DWD层数据做了更精细地过滤，可直接用于业务分析，对查询速率有一定的要求，因此创建ADS层数据表时需添加索引。本教程从DWD层数据表 adb_spark_dwd 中读取age列大于15的数据并写入ADS层数据表 adb_...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
数仓规划概述
数仓分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
概览
整体迁移分为应用迁移和数据迁移，应用层可以实现平滑迁移，数据迁移提供了多种方案。暂不支持 您可以通过外表文件中转导入。Teradata应用迁移至AnalyticDB PostgreSQL AnalyticDB PostgreSQL版 对Teradata语法有着较好的兼容，您可以将...
管理数据树
若当前数据为栅格数据，您还可以做以下操作。查看栅格元数据：在数据表 操作 栏单击 图标，查看栅格元数据。名称 说明 坐标参考系 表示栅格的坐标系。宽度 表示栅格的分辨率中的宽度值。高度 表示栅格的分辨率中的高度值。数据类型 表示...
创建数仓分层
DataWorks的数仓分层功能，默认为您创建了 数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）及 应用数据层ADS（Application Data...
表管理
通常，您可基于数仓分层将表层级划分为如下层级：数据引入层ODS（Operational Data Store）公共维度层DIM（Dimension）明细数据层DWD（Data Warehouse Detail）汇总数据层DWS（Data Warehouse Summary）应用数据层ADS（Application Data ...
确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
复合指标
汇总数据层：用于承载公共层的复合指标。应用数据层：用于承载应用层的复合指标。已创建业务过程，或数据集市/主题域，用于确定复合指标所反映的特定场景或产品的数据类别。不同分层的复合指标其创建要求具体如下：复合指标（公共层）：需...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
- 产品推荐
- 这些文档可能帮助您