01新建模型目录
与明细数据层相比，维度数据层有着相同的数据粒度，但是具有更小的数据量、更快的查询速度。操作步骤 登录 数据资源平台控制台。在页面左上角选择>协同。在顶部菜单栏，单击 图标，选择工作组。在左侧导航栏，单击 图标，选择 数据模型设计...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
某历史养成类游戏开发公司实时计算和数据仓库方案
梳理业务数据，对数据进行分层存储在Lindorm SQL+Spark中：1）操作数据层：手游客户端、用户中心、广告监测、游戏服务器等产生的原始日志；2）数据明细层：操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入Lindorm SQL...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
创建数仓分层
DataWorks的数仓分层功能，默认为您创建了 数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）及 应用数据层ADS（Application Data...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
创建逻辑模型：汇总表
数据分层是将相同功能作用的表挂载至统一的数据层，方便您查找使用。汇总表通常挂载于汇总数据层，用于将一个统计粒度（维度或维度组合）及该粒度下的多个派生指标汇总输出，为后续的业务查询，数据分发等提供基础。您也可以根据业务需求，...
确定需求
基于上述拆解，您还需要进一步思考并设计明细数据层的事实模型（原子指标中成交金额的数据来源）、公共可引用的维度模型（统计粒度的来源，且需要与成交金额所属事实模型有关联关系）和汇总数据层模型（原子指标、业务限定、统计周期的拆解...
公共规范
在调用可累加类指标计算时，CDM汇总层尽量优先调用已经产出的粗粒度汇总层，以避免大量汇总直接从海量的明细数据层计算。CDM明细层累计快照事实表优先调用CDM事务型事实表，以保持数据的一致性产出。避免应用层过度引用和依赖CDM层明细数据...
创建逻辑模型：应用表
数据分层是将相同功能作用的表挂载至统一的数据层，方便您查找使用。应用表通常挂载于应用数据层，用于将一个统计粒度（维度或维度组合）及该粒度下的多个指标汇总输出，为后续的业务查询，数据分发等提供基础。您也可以根据业务需求，选择...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
数据质量风险监控
ODS层表中的数据来源于OSS上的日志文件，作为源头表，您需要尽早判断此表分区中是否有数据。如果这张表中没有数据，则后续任务运行无意义，需要阻止后续任务运行。进入 数据质量 页面。在 数据开发 页面，单击左上角图标，选择 数据质量。...
数据质量风险监控
ODS层表中的数据来源于OSS上的日志文件，作为源头表，您需要尽早判断此表分区中是否有数据。如果这张表中没有数据，则后续任务运行无意义，需要阻止后续任务运行。进入 数据质量 页面。在 数据开发 页面，单击左上角图标，选择 数据质量。...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
引擎功能
数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势主要体现在以下几个方面：简单易用：无需掌握专业的...
配置学区地图单选框交互
切换散点层内的数据 data/[]，比较复杂，不建议使用此方案。操作步骤 在画布编辑器图层栏内，选中左侧 地图&固定内容 组中的 单选框 组件，右键单击选择 导出到蓝图编辑器。在蓝图编辑器页面，将左侧的 单选框 节点拖至画布中。按照以下...
数据存储
数据分区 云数据库SelectDB所有的数据模型都支持两层的数据分区：第一层是Partition分区，支持Range和List的划分方式，典型场景下按照时间进行Range分区，方便数据查询裁剪和过期清理等。SelectDB支持简单易用的动态分区方式，简化分区管理...
配置学区地图单选框交互
切换散点层内的数据 data/[]，比较复杂，不建议使用此方案。操作步骤 在画布编辑器图层栏内，选中左侧 地图&固定内容 组中的 单选框 组件，右键单击选择 导出到蓝图编辑器。在蓝图编辑器页面，将左侧的 单选框 节点拖至画布中。按照以下...
自定义区域下钻层（v3.x版本）
您可以通过配置数据接口，自定义区域下钻层的数据样式。说明 自定义区域下钻层支持数据优先渲染。当前接口无数据时，仍然可以下钻但无样式区分。选择 自定义区域下钻层 组件 数据 页签下的 数据接口。单击 配置数据源，在 设置数据源 面板...
全增量数据同步
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量高效性。单个节点迁移速度可达到150MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移稳定性。有完善的错误重试机制，实时监控任务速度和进度，支持任务失败报警...
LTS（原BDS）服务介绍
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。高效性，单个节点迁移速度可达到100MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移。稳定性，有完善的错误重试机制，实时监控任务速度和进度，支持任务失败...
案例演示
单击选择 自定义区域下钻层 子组件，切换到组件的 数据 面板，单击打开 自定义topojson数据接口。登录 DataV.GeoAtlas，选择 层级生成器。在根区域处单击 图标，绑定数据。在弹窗中输入 中国，不勾选 同时添加所有下游节点，单击 确认。...
LTS（原BDS）服务介绍
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。高效性，单个节点迁移速度可达到100 MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移。稳定性，有完善的错误重试机制，实时监控任务速度和进度，支持任务失败...
什么是图数据库GDB?
它支持Apache TinkerPop Gremlin查询语言，可以帮您快速构建基于高度连接的数据集的应用程序。图数据库GDB非常适合社交网络、欺诈检测、推荐引擎、知识图谱、网络/IT运营这类高度互连数据集的场景。例如，在一个典型的社交网络中，常常会...
X-Engine引擎常见问题
主索引LSM-Tree分为3层，大部分数据集中在第1层和第2层，其中第0层是从内存直接转储的数据，不进行数据压缩。因此，查询压缩率的SQL语句中使用 LEVEL in(1,2)来计算这两层压缩比的加权平均值，从而得到X-Engine中的表数据的压缩比。如果要...
表数据管理
ODC 中用颜色标识您对表中数据的操作，新增的数据用绿色标识，删除的数据用红色标识，修改后的数据用橙色标识。编辑态下，导航栏提供了以下操作键功能编辑表中的数据：功能 说明 添加行 单击该功能键将在表中指定位置插入一个空行。双击...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
使用限制
子查询结果返回数据点数：每个子查询在经过时序聚合计算后，返回到应用层的数据点数量。QPS上限：此处QPS测量的查询基准为以5分钟作为查询的时间范围扫描一条按每10秒上报一条数据的时间线（只含一个Tag的单值数据）的查询 注意事项 单次...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
热力层
动作 动作 说明 请求热力层 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如热力层配置了API数据源为 http://api.test ，传到 请求热力层 动作的数据为 { id:'1'}，则最终请求接口为 http://api.test?id=1 。...
热力线层
事件 事件 说明 当热力线层请求完成时 热力线层请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 请求热力线层 ...
热力线层
事件 事件 说明 当热力线层请求完成时 热力线层请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。当热力线层请求失败时 热力线层...
路网轨迹层
事件 事件 说明 当轨迹层请求完成时 轨迹层请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 请求轨迹层 重新...
- 产品推荐
- 这些文档可能帮助您