准备工作
开始使用表格存储搭建亿量级店铺搜索系统前，您需要完成以下准备工作。开通表格存储 已开通表格存储服务。具体操作，请参见 开通表格存储服务。创建表格存储实例 实例 是您使用和管理表格存储服务的实体，每...表设计如下：表名：geo_positon
准备工作
本章节主要为您介绍使用表格存储搭建海量智能元数据管理系统前的准备工作。开通表格存储 已开通表格...下载SDK 选择以下语言的SDK包进行下载安装：Java SDK Python SDK Go SDK Node.js SDK.NET SDK PHP SDK 设计数据表 表名：order_contract
准备工作
下载SDK 选择以下语言的SDK包进行下载安装：Java SDK Python SDK Go SDK Node.js SDK.NET SDK PHP SDK 设计数据表 订单系统不仅仅是订单一张数据表，它应包含：消费者表、售货员表、产品表、供货商表、交易订单表、支付订单表等。...
背景
了解表格存储表设计最佳实践的背景。选择使用表格存储后，根据实际业务场景，选择直接使用表格存储提供的数据模型或者根据最佳实践进行表设计。为什么选择表格存储 如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，...
建立性能基准
MaxCompute性能表现优劣，主要取决您的表设计是否符合规范。为方便您衡量MaxCompute表的性能表现，建议您在优化性能之前首先建立性能基准。说明 MaxCompute表设计规范详情请参见 表设计规范。在优化表前后测试系统性能时，您需要记录每张表...
建立性能基准
MaxCompute性能表现优劣，主要取决您的表设计是否符合规范。为方便您衡量MaxCompute表的性能表现，建议您在优化性能之前首先建立性能基准。说明 MaxCompute表设计规范详情请参见 表设计规范。在优化表前后测试系统性能时，您需要记录每张表...
数仓性能优化
表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by 指定 Hash Key 后，MaxCompute将对指定列进行Hash运算，...
数仓性能优化
表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by 指定 Hash Key 后，MaxCompute将对指定列进行Hash运算，...
表设计规范
表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表的数据量大小。对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...
明细数据层（DWD）
设计事实表的目的是度量业务过程，所以分析哪些事实与业务过程有关，是事实表设计中至关重要的。在事实表中应该尽量包含所有与业务过程相关的事实，即使存在冗余，但是因为事实通常为数字型，带来的存储开销不会很大。只选择与业务过程相关...
数据建模
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...
创建AnalyticDB for PostgreSQL表
AnalyticDB for PostgreSQL表设计包括 列信息设置、索引设置、分布键设计 和 分区表设计（可选）。分类 名称 描述 列信息设置 新增列 单击后，请设置字段的相关信息。名称 输入字段的名称。字段类型 选择字段的类型。长度设置 仅部分字段...
功能简介
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...
功能简介
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...
宽表模型设计
说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String 车辆识别代码，即车架号，用于唯一标识车辆。v_color String 车辆外壳颜色。license_plate_number String 车牌号码。mileage Double 当前里程数。...
功能简介
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
数据标准
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
功能简介
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
表设计最佳实践
本文为您介绍表设计的最佳实践方式，为实际开发提供指导和依据。产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能。在进行表设计时，应考虑避开产生大量小文件的操作。会产生大量小文件的操作如下：使用MaxCompute Tunnel ...
方案设计
meta表设计 由于GridDataSetId可以唯一标记一个GridDataSet，所以meta表的主键只有一列，用于记录GridDataSetId。各种系统属性和自定义属性保存在meta表的属性列中。查询meta表有两种方式：一种是通过GridDataSetId直接查询，另外一种是...
MaxCompute表的高级功能
表设计是指建立分区表或者对扫描条件进行列设计，需要注意以下几点：对数据表进行合理的分区。把常用查询条件设置成列名。对常用查询条件进行Hash Clustering。在数据计算时避免全表扫描。您可以增加分区过滤的条件或减少扫描的分区数，...
创建维表
流数据分析没有专门为维表设计的DDL语法，只在标准的CREATE TABLE语法基础上增加一行PERIOD FOR SYSTEM_TIME的声明。该声明定义了维表的变化周期，即表明维表是一张会变化的表。关系型数据库（RDS）目前仅支持MySQL数据存储类型，数据库中...
CDM明细层设计规范
事务型事实表设计准则 事务型事实表主要用于分析行为与追踪事件。事务事实表获取业务过程中的事件或者行为细节，然后通过事实与维度之间关联，可以非常方便地统计各种事件相关的度量，例如浏览UV，搜索次数等等。基于数据应用需求的分析...
从厂商云服务端获取证书
设备信息数据表设计建议 建议您按以下方法设计设备信息数据表。表格属性：表格属性 建议取值 数据表名称 device_table 数据生命周期-1 最大数据版本 1 数据有效版本偏差 86400 主键 deviceId，字符串（String），分区键。数据字段：字段 ...
维度层（DIM）
维度表设计原则 尽可能生成丰富的维度属性。例如，电商公司的商品维度可能有近百个维度属性，为下游的数据统计、分析、探查提供了良好的基础。尽可能多的给出包含一些富有意义的文字性描述。属性不应该是编码，而应该是真正的文字。在阿里...
汇总数据层（DWS）
汇总表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS汇总数据层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如，厨具）商品在各省的销售总额、该类目销售额Top10的商品名称、各省用户购买...
离线数据加工卡点
关于SQL代码、表命名、生命周期、注释的其他规范，请参见 表设计规范 及 MaxCompute数据开发规范。任务发布卡点 为保证线上数据的准确性，每次变更都需要经过测试再发布到线上生产环境，且生产环境测试通过后才算发布成功。发布上线前的...
离线数据加工卡点校验
关于SQL代码、表命名、生命周期及注释的其他规范，请参见 表设计规范 及 MaxCompute数据开发规范。任务发布上线卡点校验 为保障线上数据的准确性，每次变更都需要经过测试再发布到线上生产环境，且生产环境测试通过后才算发布成功。发布...
如何设计时序数据表
表设计的最佳实践 基于以上的数据模型，我们便可以将同一类时序数据的度量（如上图中的AQM）设计为表名，并按照SQL的 CREATE TABLE 语法进行表设计。以上文的空气质量监测的时序模型为例，可以采用的表定义如下所示。CREATE TABLE aqm(city...
功能简介
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。数据开发 提供一站式计算节点开发能力，一体化管理数据加工流程的开发、部署、调试...
2019年
表概述、表设计规范、表设计最佳实践、MaxCompute表的高级功能 2019-05-06 新增数据管理指南。新指南 介绍数据管理指南。数据质量评估标准、数据质量管理流程、数据加工过程卡点校验、数据风险点监控、数据质量追溯 2019-05-06 新增安全...
明细粒度事实层（DWD）
明细粒度事实表设计原则 明细粒度事实表设计原则如下所示：通常，一个明细粒度事实表仅和一个维度关联。尽可能包含所有与业务过程相关的事实。只选择与业务过程相关的事实。分解不可加性事实为可加的组件。在选择维度和事实之前必须先声明...
明细粒度事实层（DWD）
明细粒度事实表设计原则 明细粒度事实表设计原则如下所示：通常，一个明细粒度事实表仅和一个维度关联。尽可能包含所有与业务过程相关的事实。只选择与业务过程相关的事实。分解不可加性事实为可加的组件。在选择维度和事实之前必须先声明...
产品优势
采用此方案存在如下问题：元数据表设计难度大 针对不同的元数据，需要分类设计各类表结构存储，存在技术门槛。多维度元数据管理有挑战 需要组合多种元数据，进行关联查询处理，存在设计挑战。维护元数据的一致性难题 解决元数据在异常场景...
分区表
分区表使用 AnalyticDB PostgreSQL支持的分区表类型包括范围（Range）分区、值（List）分区和多级分区表，下图为一个多级分区表设计实例，一级分区采用按月的区间（Range）分区，二级分区采用按地区的值（List）分区设计。使用场景 是否...
结构设计
表设计结束后，单击 保存。通过SQL建表语句：单击 导入SQL语句。输入建表 Create Table 或修改表 Alter Table 的SQL语句，并单击 确定。例如，创建 data_modify 表，建表SQL语句如下：CREATE TABLE `data_modify`(`id` bigint(20)unsigned ...
数据仓库研发规范概述
设计人员：根据已定稿的产品需求文档所述需求，进行数据探查，了解数据形态（数据质量、数据分布），同时根据探查结果实现表设计、Mapping设计、调度设计等细分设计工作。开发人员：根据设计人员产出的稿件，制定计划并实现代码，同时进行...
公共维度汇总层（DIM）
维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。定义维度 在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程以A电商公司的营销业务板块...
公共维度汇总层（DIM）
维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。定义维度 在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程以A电商公司的营销业务板块...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
- 产品推荐
- 这些文档可能帮助您