创建逻辑模型：明细表
明细表用于存储大量能够体现业务活动状况的实际数据或详细数值，是数据聚合后依据某个维度生成的结果表。例如，分析产品销售情况，您可以创建销售明细表，用来存储产品维度（作为外键）、时间维度（作为外键）以及销售总量。本文为您介绍...
存储类型介绍
数据持久性★数据可靠性达到99.9999999%，支持单节点基础版形态，降低成本。数据可靠性达到99.9999999%，支持单节点基础版形态，降低成本。选购建议 建议优先选择通用云盘，如果IO波动较大并期望节约存储成本，建议开启IO突发功能和数据...
产品概述
数据持久性不低于99.999%。数据自动多重冗余备份。动态伸缩 每个主题（Topic）的数据流吞吐能力可以动态扩展和减少，最高可达到每主题256000 Records/s的吞吐量。高安全性 提供企业级多层次安全防护，多用户资源隔离机制；提供多种鉴权和...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
什么是云数据库Redis版
数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。磁盘型：基于ESSD与SSD研发，兼容Redis核心数据结构与接口，成本最低为Redis社区版的15%，性能约为Redis社区版的60%。可...
表管理
通常，您可基于数仓分层将表层级划分为如下层级：数据引入层ODS（Operational Data Store）公共维度层DIM（Dimension）明细数据层DWD（Data Warehouse Detail）汇总数据层DWS（Data Warehouse Summary）应用数据层ADS（Application Data ...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
修饰词
修饰词是基于选择的数据域创建的，是对数据域中的数据不同维度的修饰，用来限定统计数据的业务范围。例如，统计上海区域生鲜门店的销售金额，上海区域和生鲜门店就是对业务范围的限定修饰。前提条件 已创建数据域，用于确定修饰词所属的...
Tair（Redis企业版）与Redis社区版特性对比
需要高性能且高数据持久化要求，且成本作为次要考虑因素的数据缓存与存储场景。磁盘型 低成本：最低为Redis社区版的15%。性能：约为Redis社区版的60%，更多信息请参见 磁盘（ESSD）型性能白皮书。磁盘存储：数据分布在ESSD或SSD中，容量可...
配置持久化存储
EDAS的K8s集群支持PVC挂载功能，实现了应用实例数据持久化存储和实例间多读共享数据。本文介绍如何配置持久化存储。前提条件 创建持久化存储卷声明 在创建应用时配置持久化存储 登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表，在...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL作业开发方式，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...
概述
数据分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
规格查询导航
持久内存型实例规格 数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时。标准版的持久内存型实例，单实例成本对比Redis社区版最高可降低30%。标准架构：内存容量上限可达64 GB，支持约100,000 QPS。读写...
解决方案与客户案例
每个单元内的业务架构分为接入层、服务层、数据层：接入层 业务流量通过租户侧DNS解析后按照权重分配到不同单元的接入层，进入接入层后，通过解析请求header/cookie中的分流标，对比自定义的分流规则，判断请求是否归属本单元，若归属本...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL作业开发，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
混合存储型（已停售）
云原生内存数据库Tair 混合存储型整合了内存和磁盘二者的优势，在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖，更多信息，请参见【通知】混合存储型实例停止售卖，推荐选择 持久内存型 实例。简介 图 1....
JindoCube使用说明
可选 Cube Cache：基于某一个表或者视图的原始数据，按照用户指定的方式构建cube，并将cube数据持久化。在创建Cube Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 必选 Dimension Selector 选择构建Cube时的维度字段。必...
JindoCube使用说明
可选 Cube Cache：基于某一个表或者视图的原始数据，按照用户指定的方式构建cube，并将cube数据持久化。在创建Cube Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 必选 Dimension Selector 选择构建Cube时的维度字段。必...
JindoCube使用说明
可选 Cube Cache：基于某一个表或者视图的原始数据，按照用户指定的方式构建cube，并将cube数据持久化。在创建Cube Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 必选 Dimension Selector 选择构建Cube时的维度字段。必...
JindoCube使用说明
可选 Cube Cache：基于某一个表或者视图的原始数据，按照用户指定的方式构建cube，并将cube数据持久化。在创建Cube Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 必选 Dimension Selector 选择构建Cube时的维度字段。必...
JindoCube使用说明
可选 Cube Cache：基于某一个表或者视图的原始数据，按照用户指定的方式构建cube，并将cube数据持久化。在创建Cube Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 必选 Dimension Selector 选择构建Cube时的维度字段。必...
JindoCube使用说明
可选 Cube Cache：基于某一个表或者视图的原始数据，按照用户指定的方式构建cube，并将cube数据持久化。在创建Cube Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 必选 Dimension Selector 选择构建Cube时的维度字段。必...
JindoCube使用说明
可选 Cube Cache：基于某一个表或者视图的原始数据，按照用户指定的方式构建cube，并将cube数据持久化。在创建Cube Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、数字、连接号（–）和下划线...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
确定需求
基于上述拆解，您还需要进一步思考并设计明细数据层的事实模型（原子指标中成交金额的数据来源）、公共可引用的维度模型（统计粒度的来源，且需要与成交金额所属事实模型有关联关系）和汇总数据层模型（原子指标、业务限定、统计周期的拆解...
解决方案与客户案例
整个部署架构分多个地域，每个地域称为一个单元，其中某个单元又承担着整个多活架构的逻辑中心角色，提供一些中心化的服务能力（如Sequence分发、强一致读服务等），每个单元内的业务架构分为接入层、服务层、数据层：接入层：业务流量通过...
Tair选型指南
高性能、高数据持久化要求，且成本作为次要考虑因素的数据缓存与存储场景。持久内存型 超高性价比：相同容量下对比Redis社区版，价格降低30%左右，性能可达Redis社区版的90%，更多信息请参见 持久内存型性能白皮书。支持增强型数据结构模块...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
云数据库Redis版产品选型必读
需要高性能且高数据持久化要求，且成本作为次要考虑因素的数据缓存与存储场景。磁盘型 低成本：最低为Redis社区版的15%。性能：约为Redis社区版的60%，更多信息请参见 磁盘（ESSD）型性能白皮书。磁盘存储：数据分布在ESSD或SSD中，容量可...
复合指标
由于派生指标只是针对某业务活动某段时间的数据量统计，无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求（例如，统计某业务活动的周环比增长率）。因此，DataWorks为您提供了由派生指标通过运算规则进行计算而形成的复合...
缓存数据持久化
当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时，阿里云为您提供了缓存数据持久化的高效方案，该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作，确保数据的高速访问和持久化存储，具备高吞吐、低...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
持久内存型性能白皮书
单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。更多信息请参见 持久内存型。测试环境 测试环境信息 说明 地域和可用...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
- 产品推荐
- 这些文档可能帮助您