层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
某历史养成类游戏开发公司实时计算和数据仓库方案
3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析；4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控...
公共规范
数据类型规范 ODS层的数据类型应基于源系统数据类型转换。例如，源数据为MySQL时的转换规则如下。MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT INTEGER INT BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE ...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
热力层
在场景编辑器内配置热力层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上热力数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目 下拉列表...
热力层
在场景编辑器内配置热力层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上热力数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目 下拉列表...
数仓规划概述
数据集市与主题域 数据集市与主题域通常位于应用层，面向用户的实际业务需求，对指定的某类业务进行场景或产品的细粒度划分，制定不同分析视角，基于公共层的整合数据进行业务个性化的数据统计。数据集市 数据集市是对某个业务分类制定细化...
矢量散点层
在场景编辑器内配置矢量散点层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上矢量散点层数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目...
路况层
在场景编辑器内配置路况层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上路况层数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目 下拉...
数据质量风险监控
DWS和ADS层数据量较小、逻辑复杂，偏重数据的准确性。说明 如需了解各分层的详细说明，请参见 数仓分层。以下为不同数据资产等级和数仓层次数据的数据质量监控建议，仅供参考。操作步骤 ODS层数据质量监控。ODS层表中的数据来源于OSS上的...
数据质量风险监控
DWS和ADS层数据量较小、逻辑复杂，偏重数据的准确性。说明 如需了解各分层的详细说明，请参见 数仓分层。以下为不同数据资产等级和数仓层次数据的数据质量监控建议，仅供参考。操作步骤 ODS层数据质量监控。ODS层表中的数据来源于OSS上的...
动态轨迹层
在场景编辑器内配置动态轨迹层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上动态轨迹层数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目...
动态轨迹层
在场景编辑器内配置动态轨迹层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上动态轨迹层数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
案例演示
选择 自定义区域下钻层 的 数据 面板下的 自定义topojson数据接口，单击 配置数据源。设置 数据源类型 为静态数据。打开地理工具中下载的层级文件，复制内容粘贴至 静态数据输入窗口处。刷新数据响应结果右侧的 图标，刷新结果。单击右上角...
X-Engine简介
如前文所述，X-Engine将每一层的数据划分为固定大小的Extent，一个Extent相当于一个小而完整的排序字符串表（SSTable），存储了一个层次中的一个连续片段，连续片段又进一步划分为一个个连续的更小的片段Data Block，相当于传统数据库中的...
创建数仓分层
ODS层的数据表，命名必须以 ods 开头，并且生命周期为 366 天。明细数据层 DWD（Data Warehouse Detail）DWD层通过企业的业务活动事件构建数据模型。基于具体业务事件的特点，构建最细粒度的明细数据表。您可以结合企业的数据使用特点，将...
数据模型架构规范
按数据域划分：命名时按照CDM层的数据进行数据域划分，以便有效地对数据进行管理，以及指导数据表的命名。例如，“交易”数据的英文缩写可定义为“trd”。按业务过程划分：当一个数据域由多个业务过程组成时，命名时可以按业务流程划分。...
解决方案与客户案例
数据层 数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
解决方案与客户案例
数据层：数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
数据存储
数据分区 云数据库SelectDB所有的数据模型都支持两层的数据分区：第一层是Partition分区，支持Range和List的划分方式，典型场景下按照时间进行Range分区，方便数据查询裁剪和过期清理等。SelectDB支持简单易用的动态分区方式，简化分区管理...
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
X-Engine引擎常见问题
NUM_ENTRIES 当前逻辑层的数据量。NUM_DELETES 逻辑层删除的数据量。APRROX_CMP_RATIO 当前逻辑层采样近似压缩比。SAMPLE_OUTDATED 当前逻辑层的采样信息是否过期。说明 支持使用SQL语句查询压缩比的 企业版 集群版本需要满足以下条件之一...
确定需求
基于上述拆解，您还需要进一步思考并设计明细数据层的事实模型（原子指标中成交金额的数据来源）、公共可引用的维度模型（统计粒度的来源，且需要与成交金额所属事实模型有关联关系）和汇总数据层模型（原子指标、业务限定、统计周期的拆解...
云监控控制台查看监控
网络吞吐流入速率 集群各节点每秒的网络流入数据量。单位：bps。网络吞吐流出速率 集群各节点每秒的网络流出数据量。单位：bps。ClickHouse datapart个数 ClickHouse集群中数据分片的个数。磁盘使用量 磁盘空间的使用量。单位：MB。磁盘...
API概览
数据库管理 API 标题 API概述 CreateDatabase 为PolarDB集群创建一个新的数据库 为PolarDB集群创建一个新的数据库。DeleteDatabase 删除PolarDB集群下的数据库 删除PolarDB集群下的数据库。DescribeDatabases 查询PolarDB指定集群的数据库...
ClickHouse控制台查看监控
Inactive Data Part个数 不活跃的数据分片个数。CPU使用率 集群各节点的平均CPU使用率。内存使用率 集群各节点的平均内存使用率。每秒写入大小 集群各节点每秒写入的数据量。单位：Byte。网络吞吐 网络带宽。单位：Byte。QPS 每秒处理的...
网络类型
网络类型和访问方式 分析型数据库MySQL版支持的网络类型有两种：经典网络和 专有网络（Virtual Private Cloud 以下简称VPC）。经典网络：IP地址由阿里云统一分配，配置简便，使用方便，适用于对操作易用性要求比较高的场景。所有经典网络...
热力层
参数 说明 深度写入 打开开关后，在三维空间中写入热力层的深度值；关闭开关后，不在三维空间中写入热力层的深度值。拉升 热力层拉升的高度值。横向网格数 热力层在横向的网格数量。纵向网格数 热力层在纵向的网格数量。网格间距 热力层内...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
表设计规范
数据集市层：数据将被按需保留1~3年。数据集市的数据比较容易生成，所以无需保留久远的历史数据。按数据变更规划数据的保存方式：记录客户属性、产品属性的历史变化情况，以便追溯某个时点的值。在事实表里冗余维表的字段，即把事件发生时...
资源规划和配置
在调用API时会消耗一定的资源组，为了防止资源组不能正常访问数据源，或资源（CPU、内存）不足导致API调用异常、高频调用请求被限流等问题，您需要确保资源组的网络连通性和充足的性能。本文为您介绍资源组规划时的注意项及不同资源组类型...
典型场景
数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
- 产品推荐
- 这些文档可能帮助您