文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
播放数据统计常见问题
视频的播放数据统计存在无法避免的合理范围误差，其误差主要来自两个方面：阿里云官方播放器的日志采集间隔是30s，对于用户在视频播放页（而非播放器内）意外中断播放的行为，目前难以合理捕获，因此视频播放的时长统计会存在最大不超过30s...
日志报表
1小时（相对）大批量修改SQL的列表，包括：最早执行时间 最近执行时间 PolarDB-X 实例ID 数据库 表格 执行次数 平均更新行数 平均时长（秒）SQL 修改数据统计时间 日志报表页面的所有图表都是基于不同时间段（默认为过去1小时内的）的数据...
数仓规划概述
数据集市与主题域 数据集市与主题域通常位于应用层，面向用户的实际业务需求，对指定的某类业务进行场景或产品的细粒度划分，制定不同分析视角，基于公共层的整合数据进行业务个性化的数据统计。数据集市 数据集市是对某个业务分类制定细化...
数据类型
本文介绍Mesh中常见的数据类型。texture 纹理类型，包含宽、高、压缩方式及纹理二进制数据等。多个对象可以共享同一个纹理。material 材质类型。用于描述sfmesh对象表面各可视化属性，可以关联到纹理信息。meshgeom 几何类型，用于存储记录...
数据类型
本文介绍Mesh中常见的数据类型。texture 纹理类型，包含宽、高、压缩方式及纹理二进制数据等。多个对象可以共享同一个纹理。material 材质类型。用于描述sfmesh对象表面各可视化属性，可以关联到纹理信息。meshgeom 几何类型，用于存储记录...
查看调度资源大盘
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
查看异常统计
如果您需要查看租户粒度下的全局异常数据统计概况，则单击 图标进行切换查看。实时实例页面展示当前时间的异常统计信息排行。离线实例页面默认展示运行日期为当天的统计数据。同时，您可以选择查看最近7天内的统计数据。鼠标悬停至 图标，...
查看异常统计
如果您需要查看租户粒度下的全局异常数据统计概况，则单击 图标进行切换查看。实时实例页面展示当前时间的异常统计信息排行。离线实例页面默认展示运行日期为当天的统计数据。同时，您可以选择查看最近7天内的统计数据。鼠标悬停至 图标，...
维度建模概述
应用层：基于实际应用需求，获取公共层加工整合后的数据，面向具体应用场景或指定产品进行的个性化数据统计。该层级仅支持使用 业务分类 视角管理模型表。未分层：如果已创建的模型表未划分层级归属（即 公共层 或 应用层），则该表会被...
维度层（DIM）
例如，电商公司的商品维度可能有近百个维度属性，为下游的数据统计、分析、探查提供了良好的基础。尽可能多的给出包含一些富有意义的文字性描述。属性不应该是编码，而应该是真正的文字。在阿里巴巴维度建模中，通常是编码和文字同时存在，...
pg_statistic
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
常见问题
本文汇总日志服务的常见问题。售前常见问题 产品计费常见问题 数据采集常见问题 数据存储常见问题 查询与分析常见问题 数据加工常见问题 消费与投递常见问题 售前常见问题 什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些...
时间周期
时间周期是用来明确数据统计的时间范围或者时间窗口，例如近1天，近1自然周。用于在统计派生指标时，限定业务统计的时间范围。本文为您介绍如何创建时间周期。背景信息 时间周期与原子指标、修饰词，共同构成一个派生指标，用于体现企业某...
探查数据集
本文为您介绍可视分析创作间中数据集的探查过程。前提条件 已通过上传或者连接数据库完成数据集的创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。选择需要探查的数据集，单击 探索，...
应用场景
精准营销 该场景通过实时的数据统计，监测不同渠道用户的增长、活跃、留存状况，让企业快速分析出投资回报率。提高营销效果数据时效性，便于改进产品体验和优化营销方案，提高整体收益。该场景可实现：实时多源数据同步 支持多业务数据源，...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
逻辑结构说明
统计粒度 统计分析的对象或视角，用于圈定数据的统计范围，您也可以理解为聚合运算时的分组条件（类似于SQL中Group By的对象）。统计时效 派生指标的计算频次，即派生指标产出的时间间隔。派生指标 即基于原子指标、时间周期和维度，圈定...
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
修饰词
修饰词是基于选择的数据域创建的，是对数据域中的数据不同维度的修饰，用来限定统计数据的业务范围。例如，统计上海区域生鲜门店的销售金额，上海区域和生鲜门店就是对业务范围的限定修饰。前提条件 已创建数据域，用于确定修饰词所属的...
事件中心
在数据库日常运维中，您可以通过查看数据库实例中计划执行、正在执行和已执行完成的性能事件（例如异常事件、优化事件、弹性伸缩事件等），及时且全面地了解数据库的性能问题及相关的运维操作。本文介绍如何通过数据库自治服务DAS的性能...
OSS Foreign Table使用技巧
收集统计信息 OSS Foreign Table的数据实际存储在OSS上，AnalyticDB PostgreSQL版 默认不会自动收集数据的统计信息。在复杂场景下的查询SQL（例如多张表关联操作），如果不存在统计信息或统计信息过时，优化器可能会生成低效的查询计划。...
产品优势
低成本 提供免费的数据库接入服务。无需单独购买ECS（Elastic Compute Service）、无需单独购买VPC（Virtual Private Cloud）网络、无需单独购买高速通道，本地网关代理可在任意有空余内存的机器上运行。在网络传输方面，公网传输阶段采用...
通过任务编排实现跨库数据同步
在数据仓库中将数据加工后，还需要把加工结果同步回在线库中，以便于在线应用提供相关的数据分析和统计服务。操作步骤 准备工作。新增跨库Spark任务。配置跨库Spark任务。发布跨库Spark任务。准备工作 在MySQL数据库中创建订单表、商品表和...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
通过 HyperLoglog 实现高性能多维数据透视
t2.brand,t1.groupid,grouping sets((t3.tag1),(t3.tag2),(t3.tag3),(.),(t3.tagn))合并统计维度数据 数据结果按天进行统计，但如果要查询按月，或者按年的统计，则需要对按天统计的数据查询并汇聚。业务也能选择异步汇聚，最终用户查询到...
关系图
DataWorks智能数据建模的关系图，帮助您快速构建数据仓库模型架构图，直观展示数据仓库中维度、维度表、明细表、汇总表、应用表等各模型之间的关系。一个关系图承载一个数据仓库模型，一个账号支持创建多个关系图。本文为您介绍关系图的...
案例介绍
id,sum(amount)as order_amt_30d from fct_crt_ord_di where ds>='20210901' and ds根据上述代码为您介绍如何定义统计周期、统计粒度、统计时效、原子指标、业务限定和派生指标：统计周期 统计周期用于约束指标的来源数据的时间跨度，即该...
公共汇总粒度事实层（DWS）
区分统计周期：在表的命名上要能说明数据的统计周期，如_1d 表示最近1天，td 表示截至当天，nd 表示最近N天。公共汇总事实表规范 公共汇总事实表命名规范：dws_{业务板块缩写/pub}_{数据域缩写}_{数据粒度缩写}[_{自定义表命名标签缩写}]_{...
请求分析
数据库自治服务DAS（Database Autonomy Service）提供请求分析功能，包括查看全局慢日志和SQL全量请求分析。前提条件 数据库实例需要满足以下条件：全局慢日志功能，目前仅支持如下数据库实例：RDS MySQL MyBase MySQL PolarDB MySQL版 ...
公共汇总粒度事实层（DWS）
公共汇总事实表规范 公共汇总事实表命名规范：dws_{业务板块缩写/pub}_{数据域缩写}_{数据粒度缩写}[_{自定义表命名标签缩写}]_{统计时间周期范围缩写}。关于统计实际周期范围缩写，缺省情况下，离线计算应该包括最近一天（_1d），最近N天...
原子指标
原子指标用于明确业务的统计口径和计算逻辑，是基于用户的业务活动（即业务过程）创建的，用于统计业务活动中某一业务状况的数值。例如，用户的业务活动为购买，则原子指标就可以指定为支付金额。本文为您介绍如何创建原子指标。前提条件 ...
2022年
本章节介绍了数据库自治服务DAS的产品动态和对应的文档。2022年12月 引擎 功能名称 功能描述 发布时间 相关文档 Redis 自动弹性伸缩 新增自动弹性伸缩的API接口，用于关闭指定弹性伸缩功能。2022-12-26 DisableInstanceDasConfig PolarDB-X...
- 产品推荐
- 这些文档可能帮助您