MaxCompute数据开发规范
表和视图相关规范 表设计规范 表（Table）和字段命名规范请参见 ODS层设计规范、CDM公共维度层设计规范、CDM明细层设计规范、CDM汇总层设计规范。表（Table）整体设计规范请参见 表设计规范。说明 建议通过DataWorks数据管理中的管理配置...
常见问题
关于如何设计表的更多信息，请参见 海量结构化数据存储技术揭秘：Tablestore表设计最佳实践。运维管理 表格存储 如何运维，运维成本高么？表格存储 面向海量结构化数据提供Serverless表存储服务。表格存储 可以自动根据您的业务量的增长...
数仓开发任务流
数仓开发的项目空间由入仓解决...在 表设计 页面编辑表。删除表 仅移除该任务流对数仓表的引用，并不删除数据库中的物理表。删除后数仓开发任务流无法再对该表进行操作。右键单击目标数仓表，选择 删除。在 移除关联表 对话框中，单击 确认。
结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 或 已关闭 不需要处理）中移除该表。具体操作如下：登录 数据管理DMS 5.0。在顶部菜单栏中...
公共汇总粒度事实层（DWS）
公共汇总事实表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS公共汇总层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如：厨具）商品在各省的销售总额、该类目Top10销售额商品名称、各省...
公共汇总粒度事实层（DWS）
公共汇总事实表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS公共汇总层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如：厨具）商品在各省的销售总额、该类目Top10销售额商品名称、各省...
宽表模型介绍
4 创建数据表 说明 合理的主键和分区键设计能有效避免数据热点问题，建议您参考 表操作最佳实践 和 表设计的最佳实践 文档进行表设计。创建数据表用于存储业务相关数据。创建数据表时，您可以根据业务需求同时配置如下功能。如果业务中需要...
基于RDS PostgreSQL的表设计入门
表设计 根据业务场景，可以分别设计学生表、课程表以及选课表，E-R图如下：具体设计细节如下：学生表（students）该表存储学生信息。每个学生在这个表中有一条记录，学生ID列（stu_id）用于进行学生与课程成绩的匹配。字段名 字段类型 字段...
管理健康报告
您可以分析表的查询SQL类型模式来优化表的设计。更进一步的，您可以从不同的查询类型中识别共性，看是否需要创建物化视图来加速对这张表中数据的查询。Tablet数据大小变异系数 是指同一个分区内的tablet数据大小变异系数，代表了一个表的...
表索引诊断
通过如下SQL查找某个行列共存表设计的Query。查看过去一天，某个表涉及到的query select usename,status,query_id,datname,command_tag,duration,message,query_start,query_end,query from hologres.hg_query_log where query like '%...
指令支持列表
修改图表类型 切换图表组件的类型“帮我修改图表类型为 排行榜”“帮我把所有 柱图 切换为 线图”交叉表、明细表、趋势分析表、热力图、指标看板、指标趋势图、翻牌器、进度条、仪表盘、水波图、指标拆解树、指标关系图、线图、面积图、...
表操作篇
本文将为您提供关于表设计的最佳实践。如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是...
使用须知
一定不要为了预分区而使用加盐特性，要结合业务的读写模式来进行表设计。如果您无法做出准确的判断，可以钉钉联系云HBase值班咨询。Buckets个数跟机型配置和数据量有关系，可以参考下列方式计算，其中N为Core/RS节点数量：单节点内存 8G:2*...
Quick BI v4.3.4版本说明
线图和柱图支持 最值显示、排行榜支持设置 备注、趋势分析表支持同周的 年同比和 自定义均值/累计计算等。数据导出可配置预览态隐藏。组织管理支持全局查询缓存配置。变更内容 数据大屏 数据大屏点击添加组件。数据大屏的媒体组件中，新增 ...
功能特性
功能集 功能 功能描述 参考文档 内部表 非分区 在采集通道数据量较小的情况下，适合采取非分区表设计，将终端类型和采集时间设计成标准列字段。非分区表 分区 分区表是指拥有分区空间的表，即在创建表时指定表内的一个或者某几个字段作为...
数据引入层（ODS）
数据引入层表设计 本教程中，在ODS层主要包括的数据有：交易系统订单详情、用户信息详情、商品详情等。这些数据未经处理，是最原始的数据。逻辑上，这些数据都是以二维表的形式存储。虽然严格的说ODS层不属于数仓建模的范畴，但是合理的...
数据引入层（ODS）
数据引入层表设计 本教程中，在ODS层主要包括的数据有：交易系统订单详情、用户信息详情、商品详情等。这些数据未经处理，是最原始的数据。逻辑上，这些数据都是以二维表的形式存储。虽然严格的说ODS层不属于数仓建模的范畴，但是合理的...
自助健康检查常用命令
表设计检查 有限使用行存表 行存表使用场景相对有限，主要用在Flink关联维表场景，因此需要避免误用。列出所有行存表命令如下。select table_namespace as schema,table_name as tables from hologres.hg_table_properties where property_...
OOM常见问题排查指南
建议删除不再查询的数据或者表和减少不必要的分区表设计，以释放占用的内存。计算导致内存水位较高时，建议区分写入和查询场景，进行SQL优化，详情请参见 如何解决查询时OOM 和 如何解决导入导出时OOM。扩容，对实例的计算和存储资源进行升...
基于MaxCompute实现拉链表
案例介绍 数据表设计，本案例共设计2张数据表。交易下单源表：ods_order_d，用于存放业务库同步用来的每日增量数据。包含如下两个字段：id：业务主键订单ID。status：追踪变化的订单状态。交易下单事实表（拉链表）：dwd_order，用于拉链...
11创建逻辑表命名规则
创建逻辑表命名规则，以保证后续数据建模过程逻辑表名称的可读性和规范性，本章以ODS层模型命名规则设计为例介绍。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已新建模型层级“ODS”，具体操作，请参见 新建...
优化建议
设计表结构的过程 预估数据量、访问规模，准备测试数据，测试原始数据库的性能基线；分析和设计表结构、约束、索引；分析和设计分区方式和分区字段；分析和设计常用sql语句访问的频度和分区数量 分析和设计需要聚合、排序、分组、条件过滤...
功能发布记录
支持读写MaxCompute Transactional类型表，支持读取MaxCompute Schema Evolution状态表（在MaxCompute侧执行过删除列、修改列顺序，修改列类型操作的表），支持Array、Date类型回写，详情请参见 通过创建外部表加速查询MaxCompute数据 和 ...
如何将一棵LSM-Tree塞进NVM
鉴于内存表设计为顺序追加的写入方式，为了避免该问题，半持久化内存表通过将小的写打包成大块的写（WriteBatch），并且顺序地将该WriteBatch写入到PM中，之后分别将其中的记录写入到易失性索引中。如上图所示，batch表示一个大块的...
零售电商数据建模
以下结合案例简单介绍了维度建模模型理论，更多关于维度建模方法论、维度表事实表模型设计内容，请参见《Star Schema完全参考手册》[1]中的第2章~第6章节和第11章节、《数据仓库工具箱（第3版）》[2]。实施工作流可以参考下图：说明 上面...
外部表
外部表具有如下属性：基本属性 英文表名（在 新建表 时输入）中文表名 一级、二级主题 描述 物理模型设计 表类型：请选择为 外部表。分区类型：OTS类型外部表不支持分区。选择存储地址：即 LOCATION 参数。您可以在 物理模型设计 栏中设置 ...
通用限制
为保证更好的性能，请合理设计表结构和单行数据大小。实例限制 资源 限制值 说明 单个阿里云账号下可以保有实例数 10个 如果业务需求超过限制，请 提交工单 联系我们。单实例中表的个数 64个 限制值包含数据表、二级索引表和时序表的数量。...
创建表
步骤一：设计表 您需要根据待导入的数据内容和最终需要生成的结果数据，确定需要创建的表类型、结构及各列的数据类型。本文中提供的示例数据内容如下，展示的是银行贷款购房人员的数据。待创建非分区表的数据。44,blue-collar,married,...
配置全局参数
全局参数使用场景 跳转场景 以排行榜（订单信息）跳转交叉表（商品信息）为例。登录 Quick BI控制台。进入 仪表板 页面。在 淘宝商品订单详情 仪表板中，创建 商品信息 交叉表，并配置交叉表全局参数。在 数据 页签选择销售数据为数据集，...
累计计算
柱/条图：柱图、堆积柱状图、百分比堆积柱状图、环形柱状图、排行榜、条形图、堆积条形图、百分比堆积条形图、动态条形图、瀑布图。气泡/散点图：气泡图、散点图、分面散点图。表格类图表：交叉表、明细表。饼/环形类图表：饼图、玫瑰图、...
TopN
柱/条图：柱图、堆积柱状图、百分比堆积柱状图、环形柱状图、排行榜、条形图、堆积条形图、百分比堆积条形图、动态条形图、瀑布图。气泡/散点图：气泡图、散点图、分面散点图。表格类图表：交叉表。饼/环形类图表：饼图、玫瑰图、雷达图、...
可视化图表概述
类别轴 值轴 颜色图例 排行榜 排行榜用于展示TOP N的排行榜数据。类别 指标 条形图 与 柱图 类似，条形图用横向的展示方式来比较数据间的大小以及各项之间的差距。类别轴 值轴 颜色图例 堆积条形图 将每根条进行分割以显示相同类型下各个...
仪表板制作常见问题
排行榜显示维度值名称目前默认显示10个字，是否支持设置显示字数？如何修改图表的度量显示格式？度量的显示格式为数值格式和百分比格式，您可以在仪表板或数据集编辑页面设置度量的显示格式。在仪表板编辑页面，单击右侧的 样式 页签，设置...
百分位
柱/条图：柱图、堆积柱状图、百分比堆积柱状图、环形柱状图、排行榜、条形图、堆积条形图、百分比堆积条形图、动态条形图、瀑布图。气泡/散点图：气泡图、散点图、分面散点图。表格类图表：交叉表、明细表。饼/环形类图表：饼图、玫瑰图、...
需求分析
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 步骤三：数据流与工作流设计 根据规范设计表名：参考规范设计表名。本案例设计5张表。表命名规范详情请参见：ODS层设计...
需求分析
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 步骤三：数据流与工作流设计 根据规范设计表名：参考规范设计表名。本案例设计5张表。表命名规范详情请参见：ODS层设计...
Quick BI v3.12.0版本说明
可视化图表 新交叉表和排行榜支持排名计算，请参见 数据排名。度量字段累计计算支持历年累计，请参见 累计计算。说明 度量字段上未配置 同环比 功能。仅求和指标的字段（）才支持配置累计计算。维度字段上有且只有1个日期字段，且字段类型...
功能发布记录（2022年）
DataWorks用户 通过向导模式配置离线同步任务 2022-7 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 DataWorks智能数据建模支持维度建模 DataWorks智能数据建模支持以下功能：您可以在模板设计中直接引用Hologres中已存在的表或...
库表数太多导致实例卡顿或异常
通过$indexStats 命令观察到 { stars:1 } 的命中次数很低，但考虑到业务上一整轮游戏结束时需要按照玩家的 stars 数量进行逆序排序来展示结算排行榜，因此尽管并不常用，{ stars:1 } 也需要保留来避免扫描所有文档。优化后，集合中还剩下3...
Quick BI v4.6版本说明
可视化图表 配置能力增强 排行榜支持配置目标值，雷达图支持空值处理，堆积/百分比堆积柱状图支持同时配置总计和百分比。交叉表新增滚动条显示，支持选择鼠标滑入出现和常驻显示、滚动条支持配置粗细、新增排序模式。仪表板配置 能力增强&...
- 产品推荐
- 这些文档可能帮助您