元数据仓库共享模型标准访问方式
您可以通过元仓共享模型通信表以检查最新数据是否产出，每天元仓共享模型产出后，将更新通信表数据。通信表说明如下：data_share_finish：基础元数据模型通信表。data_security_finish:数据安全模块共享模型通信表。data_service_finish:...
背景
了解表格存储表设计最佳实践的背景。选择使用表格存储后，根据实际业务场景，选择直接使用表格存储提供的数据模型或者根据最佳实践进行表设计。为什么选择表格存储 如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，...
建立性能基准
MaxCompute性能表现优劣，主要取决您的表设计是否符合规范。为方便您衡量MaxCompute表的性能表现，建议您在优化性能之前首先建立性能基准。说明 MaxCompute表设计规范详情请参见 表设计规范。在优化表前后测试系统性能时，您需要记录每张表...
数仓性能优化
表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by 指定 Hash Key 后，MaxCompute将对指定列进行Hash运算，...
设计阶段
表设计 表设计是指依据需求设计目标产出表、中间产出表。包含表名、表名解释、字段名、字段类型、字段注释以及字段安全等级等。表设计的步骤如下所示：设计表名、字段名：要求相同的字段在不同表中的字段名相同，相关规范请参见 命名规范。...
数仓性能优化
表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by 指定 Hash Key 后，MaxCompute将对指定列进行Hash运算，...
表设计规范
表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表的数据量大小。对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...
明细数据层（DWD）
设计事实表的目的是度量业务过程，所以分析哪些事实与业务过程有关，是事实表设计中至关重要的。在事实表中应该尽量包含所有与业务过程相关的事实，即使存在冗余，但是因为事实通常为数字型，带来的存储开销不会很大。只选择与业务过程相关...
数据建模
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...
创建AnalyticDB for PostgreSQL表
AnalyticDB for PostgreSQL表设计包括 列信息设置、索引设置、分布键设计 和 分区表设计（可选）。分类 名称 描述 列信息设置 新增列 单击后，请设置字段的相关信息。名称 输入字段的名称。字段类型 选择字段的类型。长度设置 仅部分字段...
功能简介
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...
功能简介
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...
宽表模型设计
说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String 车辆识别代码，即车架号，用于唯一标识车辆。v_color String 车辆外壳颜色。license_plate_number String 车牌号码。mileage Double 当前里程数。...
功能简介
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
功能简介
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
数据标准
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
表设计最佳实践
本文为您介绍表设计的最佳实践方式，为实际开发提供指导和依据。产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能。在进行表设计时，应考虑避开产生大量小文件的操作。会产生大量小文件的操作如下：使用MaxCompute Tunnel ...
CDM明细层设计规范
事务型事实表设计准则 事务型事实表主要用于分析行为与追踪事件。事务事实表获取业务过程中的事件或者行为细节，然后通过事实与维度之间关联，可以非常方便地统计各种事件相关的度量，例如浏览UV，搜索次数等等。基于数据应用需求的分析...
如何设计时序数据表
表设计的最佳实践 基于以上的数据模型，我们便可以将同一类时序数据的度量（如上图中的AQM）设计为表名，并按照SQL的 CREATE TABLE 语法进行表设计。以上文的空气质量监测的时序模型为例，可以采用的表定义如下所示。CREATE TABLE aqm(city...
功能简介
字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。数据开发 提供一站式计算节点开发能力，一体化管理数据加工流程的开发、部署、调试...
明细粒度事实层（DWD）
明细粒度事实表设计原则 明细粒度事实表设计原则如下所示：通常，一个明细粒度事实表仅和一个维度关联。尽可能包含所有与业务过程相关的事实。只选择与业务过程相关的事实。分解不可加性事实为可加的组件。在选择维度和事实之前必须先声明...
明细粒度事实层（DWD）
明细粒度事实表设计原则 明细粒度事实表设计原则如下所示：通常，一个明细粒度事实表仅和一个维度关联。尽可能包含所有与业务过程相关的事实。只选择与业务过程相关的事实。分解不可加性事实为可加的组件。在选择维度和事实之前必须先声明...
结构设计
表设计结束后，单击 保存。通过SQL建表语句：单击 导入SQL语句。输入建表 Create Table 或修改表 Alter Table 的SQL语句，并单击 确定。例如，创建 data_modify 表，建表SQL语句如下：CREATE TABLE `data_modify`(`id` bigint(20)unsigned ...
公共维度汇总层（DIM）
维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。定义维度 在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程以A电商公司的营销业务板块...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
公共维度汇总层（DIM）
维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。定义维度 在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程以A电商公司的营销业务板块...
结构设计
表设计结束后，单击 保存。通过SQL建表语句 单击 导入SQL语句。输入创建表 Create Table 或修改表 Alter Table 的SQL语句，并单击 确定。例如，创建 data_modify 表，建表SQL语句如下：CREATE TABLE `data_modify`(`id` bigint(20)unsigned...
多元索引最佳实践
本文从数据表设计、多元索引设计、多元索引使用三个方面介绍了使用多元索引的最佳实践。数据表相关设计实践 主键设计 Tablestore数据表根据分区键进行Range范围分区，主键的设计会影响多元索引的同步速度和部分场景下的查询水平拓展。主键...
迁移HBase至Hologres
支持宽表设计、多流合并、前缀扫描（Prefix Scan）等多种HBase常用场景。支持针对HBase接口平滑迁移的SDK。您可以从HBase迁移表和数据至Hologres获取更好的数据开发体验。Hologres与HBase对比 Hologres与HBase产品特性对比如下。能力 HBase...
MaxCompute数据开发规范
表和视图相关规范 表设计规范 表（Table）和字段命名规范请参见 ODS层设计规范、CDM公共维度层设计规范、CDM明细层设计规范、CDM汇总层设计规范。表（Table）整体设计规范请参见 表设计规范。说明 建议通过DataWorks数据管理中的管理配置...
结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。...选择 设计表，重新编辑目标表。编辑完成后，单击 保存 即可。此时，系统会重新采集数据库元数据，确保结构设计中的表结构和变更基准库中的表结构一致。
公共汇总粒度事实层（DWS）
公共汇总事实表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS公共汇总层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如：厨具）商品在各省的销售总额、该类目Top10销售额商品名称、各省...
基于RDS PostgreSQL的表设计入门
本文以介绍学生选课系统为例，演示如何根据业务场景，设计表结构，并在RDS PostgreSQL完成相关库表的创建。场景说明 某学校为方便学生在线上快捷选课、学期末快速统计成绩，计划建立一个学生选课系统，该系统后端数据库采用阿里云RDS ...
表操作篇
本文将为您提供关于表设计的最佳实践。如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是...
需求分析
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 步骤三：数据流与工作流设计 根据规范设计表名：参考规范设计表名。本案例设计5张表。表命名规范详情请参见：ODS层设计...
需求分析
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 步骤三：数据流与工作流设计 根据规范设计表名：参考规范设计表名。本案例设计5张表。表命名规范详情请参见：ODS层设计...
11创建逻辑表命名规则
单击 新建逻辑表命名规则，填写规则名称“ODS模型名称设计规则”，选择目录“ODS”，设计表名规则“一级目录+二级目录+自定义+刷新周期+增量全量”，并勾选“开始校验”，单击 确定。预期结果 在逻辑表命名规则列表展示新建的逻辑表命名...
HaaS EDU场景式应用整体介绍
本案例中包括以下主要知识点：竖屏按键事件 OLED绘图与小游戏设计开发 记分系统 通过本案例的学习，能完整的学习到小游戏的开发原理，实际游戏模式设计与开发，横竖屏按键的适配，同时，您也可以在开发之余，玩玩自己亲手打造的小游戏，别...
跨房间订阅功能
默认情况下，只有同房间的用户才能进行音视频流的通信，不同房间之间的信息是隔离的。您可以通过跨房间订阅功能来实现不同房间的通信，来满足业务的要求，例如直播连麦等业务场景。本文介绍跨房间订阅功能的实现原理和示例代码。实现原理 ...
什么是AI通信加速库Deepnccl
多机CPU-Reduce：该优化继承了单机内CPU-Reduce高效的异步流水线，并将跨机Socket通信也设计为流水线形态，实现多机通信全过程流水化，有效减少通信延迟，提高整体训练性能。例如，在通信量较大的Transformer-based模型的多机训练场景下，...
- 产品推荐
- 这些文档可能帮助您