数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
日志报表
1小时（相对）大批量修改SQL的列表，包括：最早执行时间 最近执行时间 PolarDB-X 实例ID 数据库 表格 执行次数 平均更新行数 平均时长（秒）SQL 修改数据统计时间 日志报表页面的所有图表都是基于不同时间段（默认为过去1小时内的）的数据...
数据类型
本文介绍Mesh中常见的数据类型。texture 纹理类型，包含宽、高、压缩方式及纹理二进制数据等。多个对象可以共享同一个纹理。material 材质类型。用于描述sfmesh对象表面各可视化属性，可以关联到纹理信息。meshgeom 几何类型，用于存储记录...
数据类型
本文介绍Mesh中常见的数据类型。texture 纹理类型，包含宽、高、压缩方式及纹理二进制数据等。多个对象可以共享同一个纹理。material 材质类型。用于描述sfmesh对象表面各可视化属性，可以关联到纹理信息。meshgeom 几何类型，用于存储记录...
查看调度资源大盘
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
查看异常统计
如果您需要查看租户粒度下的全局异常数据统计概况，则单击 图标进行切换查看。实时实例页面展示当前时间的异常统计信息排行。离线实例页面默认展示运行日期为当天的统计数据。同时，您可以选择查看最近7天内的统计数据。鼠标悬停至 图标，...
查看异常统计
如果您需要查看租户粒度下的全局异常数据统计概况，则单击 图标进行切换查看。实时实例页面展示当前时间的异常统计信息排行。离线实例页面默认展示运行日期为当天的统计数据。同时，您可以选择查看最近7天内的统计数据。鼠标悬停至 图标，...
维度层（DIM）
例如，电商公司的商品维度可能有近百个维度属性，为下游的数据统计、分析、探查提供了良好的基础。尽可能多的给出包含一些富有意义的文字性描述。属性不应该是编码，而应该是真正的文字。在阿里巴巴维度建模中，通常是编码和文字同时存在，...
数仓规划概述
应用层：基于实际应用需求，获取公共层加工整合后的数据，面向具体应用场景或指定产品进行的个性化数据统计。该层级可以挂载应用表、维度表。业务分类 当企业业务比较复杂，不同类型业务彼此间需要共享数据域，但是又希望能在模型设计和...
pg_statistic
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
维度建模概述
应用层：基于实际应用需求，获取公共层加工整合后的数据，面向具体应用场景或指定产品进行的个性化数据统计。该层级仅支持使用 业务分类 视角管理模型表。未分层：如果已创建的模型表未划分层级归属（即 公共层 或 应用层），则该表会被...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
时间周期
时间周期是用来明确数据统计的时间范围或者时间窗口，例如近1天，近1自然周。用于在统计派生指标时，限定业务统计的时间范围。本文为您介绍如何创建时间周期。背景信息 时间周期与原子指标、修饰词，共同构成一个派生指标，用于体现企业某...
探查数据集
本文为您介绍可视分析创作间中数据集的探查过程。前提条件 已通过上传或者连接数据库完成数据集的创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。选择需要探查的数据集，单击 探索，...
需求阶段
作为承接业务方数据需求的数据产品经理，在需求阶段需要规范首次需求流程和迭代需求流程。首次需求流程 对于业务方首次提出的需求，重点工作在于评估完成该需求的技术、数据、合规的可行性后，以细化需求的方式完成产品需求文档，并组织...
库表结构优化
说明 预期优化收益是基于历史数据统计的预估值，非实时统计的准确值，仅供参考。具体操作指引 当优化类型为冷热数据优化和索引优化时，用户可以对当前优化建议采取 一键应用 操作。说明 一键应用，表示同意采纳该优化建议。一键应用 后相应...
逻辑结构说明
统计粒度 统计分析的对象或视角，用于圈定数据的统计范围，您也可以理解为聚合运算时的分组条件（类似于SQL中Group By的对象）。统计时效 派生指标的计算频次，即派生指标产出的时间间隔。派生指标 即基于原子指标、时间周期和维度，圈定...
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
赛盒广告精细化管理方案
赛盒科技基于阿里云 AnalyticDB MySQL 和Quick BI制定的广告精细化管理方案，提升了广告创建效率和广告业绩，根据实时BI报表数据合理分配广告活动预算，实现企业效益最大化。业务痛点 深圳赛盒科技有限公司（赛盒科技）是一家以高科技创意...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
数据源白名单配置
为确保数据库访问的安全性，阿里云数据库相关产品通常情况存在IP白名单访问限制。若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
事件中心
在数据库日常运维中，您可以通过查看数据库实例中计划执行、正在执行和已执行完成的性能事件（例如异常事件、优化事件、弹性伸缩事件等），及时且全面地了解数据库的性能问题及相关的运维操作。本文介绍如何通过数据库自治服务DAS的性能...
修饰词
修饰词是基于选择的数据域创建的，是对数据域中的数据不同维度的修饰，用来限定统计数据的业务范围。例如，统计上海区域生鲜门店的销售金额，上海区域和生鲜门店就是对业务范围的限定修饰。前提条件 已创建数据域，用于确定修饰词所属的...
OSS Foreign Table使用技巧
收集统计信息 OSS Foreign Table的数据实际存储在OSS上，AnalyticDB PostgreSQL版 默认不会自动收集数据的统计信息。在复杂场景下的查询SQL（例如多张表关联操作），如果不存在统计信息或统计信息过时，优化器可能会生成低效的查询计划。...
产品计费
数据安全中心DSC（Data Security Center）采用包年包月（预付费）的计费方式。本文介绍 DSC 的计费情况。新用户7天免费试用 数据安全中心支持7天免费试用企业版（含全部功能）。阿里云账号和RAM用户均可申请免费试用，且申请时需要使用中文...
逆向建模：物理表反向建模
应用层基于实际应用需求，获取公共层加工整合后的数据，面向具体应用场景或指定产品进行的个性化数据统计。创建的模型可归属于 公共层 或 应用层，不同层级归属需单独完成如下准备：公共层：已创建数据域，用于确定模型所统计的业务数据...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
关系图
DataWorks智能数据建模的关系图，帮助您快速构建数据仓库模型架构图，直观展示数据仓库中维度、维度表、明细表、汇总表、应用表等各模型之间的关系。一个关系图承载一个数据仓库模型，一个账号支持创建多个关系图。本文为您介绍关系图的...
通过 HyperLoglog 实现高性能多维数据透视
t2.brand,t1.groupid,grouping sets((t3.tag1),(t3.tag2),(t3.tag3),(.),(t3.tagn))合并统计维度数据 数据结果按天进行统计，但如果要查询按月，或者按年的统计，则需要对按天统计的数据查询并汇聚。业务也能选择异步汇聚，最终用户查询到...
案例介绍
id,sum(amount)as order_amt_30d from fct_crt_ord_di where ds>='20210901' and ds根据上述代码为您介绍如何定义统计周期、统计粒度、统计时效、原子指标、业务限定和派生指标：统计周期 统计周期用于约束指标的来源数据的时间跨度，即该...
请求分析
数据库自治服务DAS（Database Autonomy Service）提供请求分析功能，包括查看全局慢日志和SQL全量请求分析。前提条件 数据库实例需要满足以下条件：全局慢日志功能，目前仅支持如下数据库实例：RDS MySQL MyBase MySQL PolarDB MySQL版 ...
原子指标
原子指标用于明确业务的统计口径和计算逻辑，是基于用户的业务活动（即业务过程）创建的，用于统计业务活动中某一业务状况的数值。例如，用户的业务活动为购买，则原子指标就可以指定为支付金额。本文为您介绍如何创建原子指标。前提条件 ...
- 产品推荐
- 这些文档可能帮助您