数仓构建流程
维度是度量的环境，是我们观察业务的角度，用来反映业务的一类属性。属性的集合构成维度，也可以称为实体对象。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。属性（维度属性）：维度所包含的表示维度...
数仓构建流程
维度是度量的环境，是我们观察业务的角度，用来反映业务的一类属性。属性的集合构成维度，维度也可以称为实体对象。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。属性（维度属性）：维度所包含的表示...
数据指标概述
指标通常分为原子指标和派生指标，与指标相关的参数还包括修饰词和时间周期。派生指标则是由 原子指标+时间周期+一个或多个修饰词 组成。原子指标用于明确业务的统计口径及计算逻辑。例如，下单总数。修饰词用于限定业务活动的范围。例如，...
条件下推（WHERE条件下推派生表）
即当派生表（Derived Tables）不能合并到外部查询时，将外部WHERE条件下推到派生表（Derived Tables）中减少SQL需要处理的行数，从而提升SQL查询的性能。前提条件 集群版本需为 PolarDB MySQL版 8.0版本且修订版本为8.0.2.2.13或以上。如何...
复合指标
由于派生指标只是针对某业务活动某段时间的数据量统计，无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求（例如，统计某业务活动的周环比增长率）。因此，DataWorks为您提供了由派生指标通过运算规则进行计算而形成的复合...
原子指标
指标通常分为原子指标和派生指标，与指标相关的参数还包括修饰词和时间周期。派生指标则是由 原子指标+时间周期+一个或多个修饰词 组成。原子指标用于明确业务的统计口径及计算逻辑。例如，下单总数。修饰词用于限定业务活动的范围。例如，...
三维模型常见问题
为什么网上的三维模型那么便宜，买来的三维模型能不能用？网上很多售价非常低廉的三维城市模型，通常不是用来渲染三维实时引擎，而是用来离线渲染视频的。这些模型的流通渠道并不正规，所以价格便宜。这些建模的时候没有考虑实时渲染的场景...
Topic与Tag最佳实践
适用场景 您可能会有这样的疑问：到底什么时候该用Topic，什么时候该用Tag？建议您从以下几个方面进行判断：消息类型是否一致：如普通消息、事务消息、定时（延时）消息、顺序消息，不同的消息类型使用不同的Topic，无法通过Tag进行区分。...
规范建模概述
新建派生指标 业务限定 统计的业务范围，用于筛选出符合业务规则的记录（类似于SQL中where后的条件，不包括时间区间）。原子指标是计算逻辑的标准化定义，业务限定则是条件限制的标准化定义。新建业务限定 汇总逻辑表 派生指标归属的表就是...
缓解DDoS攻击的最佳实践
常见的DDoS攻击包括以下几类：网络层攻击 比较典型的攻击类型是UDP反射攻击，例如NTP Flood攻击。这类攻击主要利用大流量拥塞被攻击者的网络带宽，导致被攻击者的业务无法正常响应客户访问。传输层攻击 比较典型的攻击类型包括SYN Flood...
规范建模概述
创建派生指标 业务限定 统计的业务范围，用于筛选出符合业务规则的记录（类似于SQL中where后的条件，不包括时间区间）。原子指标是计算逻辑的标准化定义，业务限定则是条件限制的标准化定义。创建业务限定 汇总逻辑表 派生指标归属的表就是...
用户密钥安全
表格存储支持使用V4签名算法实现对用户密钥的保护，在进行用户身份验证时，使用的是由V4签名算法计算生成的派生密钥，而不是实际的用户密钥，从而降低密钥泄露造成的影响范围。如果派生密钥出现泄露，则影响局限于当天某个产品下指定地域的...
数仓构建流程
为保证统计指标标准、规范、无二义性地生成，OneData方法论将派生指标抽象为四部分：派生指标=原子指标+业务限定+统计周期+统计粒度。例如，原子指标（销售额）+业务限定（产品类别）+统计周期（每月统计一次）+统计粒度（按产品类别和月份...
新建汇总逻辑表
本文为您介绍如何新建无派生指标的汇总逻辑表。前提条件 在执行操作前，请先完成业务对象的逻辑表创建。具体操作，请参见 维度逻辑表概述。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 页面，按照下图操作指引，进入 ...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
新建汇总逻辑表
本文为您介绍如何新建无派生指标的汇总逻辑表。前提条件 在执行操作前，请先完成业务对象的逻辑表创建。具体操作，请参见 维度逻辑表概述。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 页面，按照下图操作指引，进入 ...
数据安全
用户密钥安全 表格存储客户端支持使用V4签名算法对用户密钥（即阿里云账号或者RAM用户的AccessKey信息）进行计算生成派生密钥，并使用派生密钥发起请求，表格存储服务端在收到该请求时会使用派生密钥进行用户身份验证，避免在身份验证过程...
配置及使用数仓分层检查器
也可单击 图标，使用业务大类英文缩写、数据集市英文缩写、主题域英文缩写等多种类别的来定义规则。可自由组合。说明 不同模型（例如，应用表、维度表）定义规则时可选类别存在差异，具体请以实际界面为准。指标规则：选择修饰词、原子指标...
Dataphin规范建模中派生指标已下线，但是下线原子指标...
问题描述 Dataphin规范建模中派生指标已下线，但是下线原子指标时，依然报错“存在依赖，不可操作派生指标 xxx”。问题原因 派生指标是依赖校验原子指标的，无论派生指标是草稿状态还是发布状态，都会依赖原子指标。解决方案 下线原子指标...
Dataphin删除并下线派生指标报错：“*sql解析错误...
问题描述 Dataphin删除并下线派生指标报错：“*sql解析错误column not found*”。问题原因 该派生指标有所依赖的下游任务。解决方案 排查哪些任务依赖了该派生指标，解除依赖即可删除。适用于 Dataphin
Dataphin中如何对两个派生指标进行逻辑运算，生成新的...
概述 本文主要介绍Dataphin中如何对两个派生指标进行逻辑运算，生成新的指标。比如以下场景如何实现：目前有“最近7天男性支付数”、“历史至今男性注册人数”两个派生指标，需要统计“最近7天男性支付数”占“历史至今男性注册人数”该...
数据开发权限列表
Y Y Y Y N 新建派生指标 Y Y N N N 编辑派生指标 Y Y N N N 保存派生指标 Y Y N N N 删除派生指标 Y Y N N N 下线派生指标 Y Y N N N 提交派生指标 Y Y N N N 数据处理权限列表 权限点 项目管理员 项目开发者 项目访客 项目分析师 普通成员...
核心概念
统计时效 派生指标的计算频次，即派生指标产出的时间间隔。目前支持按天计算。汇总逻辑表 派生指标归属的表就是汇总逻辑表。汇总逻辑表有且仅有一个统计粒度，同一个统计时效下统计粒度相同的派生指标属于一个汇总逻辑表。汇总逻辑表的主键...
数据开发权限列表
Y Y Y Y N 新建派生指标 Y Y N N N 编辑派生指标 Y Y N N N 保存派生指标 Y Y N N N 删除派生指标 Y Y N N N 下线派生指标 Y Y N N N 提交派生指标 Y Y N N N 数据处理权限列表 权限点 项目管理员 项目开发者 项目访客 项目分析师 普通成员...
什么是Topic
为方便海量设备基于Topic进行通信，简化授权操作，物联网平台定义了产品Topic类和设备Topic。本文介绍MQTT协议的原理、Topic的概念及分类。工作原理 在上图中分为设备、物联网平台和业务服务器三端，其中设备和物联网平台的通信基于MQTT...
什么是人工智能平台PAI
本文为您介绍什么是人工智能平台PAI。什么是机器学习 机器学习是一门多学科交叉专业，涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识，它使用计算机作为工具并致力于真实、实时地模拟人类学习方式，并将现有内容进行知识结构划分...
向量介绍
适用场景：100%召回率 劣势：大数据量下效率较低、资源（CPU、内存）消耗较严重 聚类算法 量化聚类（Quantized Clustering）介绍：量化聚类（Quantized Clustering）是阿里巴巴开发的基于kmeans聚类的向量检索算法。先利用向量文档聚类n个...
汇总数据层（DWS）
汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS汇总数据层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个...
首页
DataWorks智能数据建模首页，为您展示了当前租户内创建的模型及派生指标数量，以及近三十天内当前工作空间成功发布至生产环境的模型列表，帮助您了解模型动态概况。本文为您介绍DataWorks智能数据建模首页信息概览。进入首页 进入数据开发...
常见问题
一般使用常见问题 数据源类 配置和接入类 告警类 数据源类 日志支持哪些时间格式？支持如下时间格式：normal：最常见的时间格式 2016-12-13 10:00:14 apache：apache 时间格式 08/May/2017 01:13:52_long：完整时间戳，精确到毫秒，格式 ...
Dataphin规范建模的事实逻辑表关联维度的下游派生指标...
问题描述 Dataphin规范建模的事实逻辑表关联维度的下游派生指标已下线，还是无法更换关联维度，报错“存在依赖，不可操作派生指标：xxx”。解决方案 如果需要更换事实逻辑表的关联维度，需要将所有相关的派生指标和业务限定都下线并删除。...
Dataphin派生指标在逻辑汇总表补数据总是提示空跑
问题描述 Dataphin派生指标在逻辑汇总表补数据总是提示空跑，日志情况如下：问题原因 调度周期不是天调度，当天不在调度周期运行的日期则会直接空跑跳过。解决方案 修改调度周期。选择补数据日期可以向前或者向后选择调度运行的日期，比如...
在引用该统计周期的派生指标还是按照之前统
问题描述 Dataphin公共定义中修改了统计周期的表达式，之前引用该统计周期的派生指标中看已经变更，但是任务执行还是按照之前统计周期执行查询。对应派生指标运行时统计周期值还是按照原来的表达式计算：问题原因 在公共定义中修改了统计...
数据开发
本文为您介绍数据开发的相关...您需要重新构建派生指标，详情请参见 新建派生指标。系统是否支持维度逻辑表作为事实逻辑表的来源表？不支持。事实逻辑表的来源主表为物理表。icmsDocProps={'productMethod':'created','language':'zh-CN',};
AGit-Flow 阿里巴巴集中式 Git 工作流
什么是 AGit-Flow？如何将 GitHub 和 Gerrit 两种工作流结合到一起并且兼具他们的优点？在 Gerrit 的启发下，我们在 CGit 的基础上创建了一个集中式 Git 工作流，我们称之为“AGit-Flow”。使用 AGit-Flow 工作流，无需创建派生仓库，也...
业产技融合分层协作方案
什么是业产技分层协作？业产技」是 业务团队、产品团队、技术团队 的缩写，代表研发流程中的三个典型的职能团队。在经典的研发协作流程定义中，更偏向于技术相关职能角色的分工定义，例如需求管理、迭代排期、缺陷跟踪等协作流程，即使这些...
专线施工类
自主申请物理专线施工类问题如下：1.自主申请物理专线接入阿里云的周期一般是多长？2.除了自主申请专线，还有哪些专线上云方式？3.共享预连接专线接入阿里云，施工周期一般是多长？4.自主申请专线和共享预连接专线上云有什么不同？5.为什么...
智能数据建模计费标准
计算公式为：对象数量=逻辑模型数量（维度表模型数量+明细表模型数量+汇总表模型数量+应用表模型数量）+【向上取整（派生指标数量/10）】+【向上取整（复合指标数量/10）】。仅在DataWorks智能数据建模产品中创建并提交的逻辑模型、派生...
维度和事实逻辑表物化配置
业务日期（Bizdate）：使用业务日期分区计算派生指标，可保障数据的强一致性，但需保留历史分区用于派生指标计算。生命周期：设置存储的生命周期，生命周期最大值为36500,大于等于该值将自动转为永久存储（显示为36500天）。系统支持快速...
维度和事实逻辑表物化配置
业务日期（Bizdate）：使用业务日期分区计算派生指标，可保障数据的强一致性，但需保留历史分区用于派生指标计算。生命周期：设置存储的生命周期，生命周期最大值为36500,大于等于该值将自动转为永久存储（显示为36500天）。系统支持快速...
- 产品推荐
- 这些文档可能帮助您