数仓分层
在汇总数据层同样可以关联复用统计粒度中的维度，采取更多的宽表化手段构建公共指标数据层，提升公共指标的复用性，减少重复加工。维度层（DIM，Dimension）：以维度作为建模驱动，基于每个维度的业务含义，通过添加维度属性、关联维度等...
某历史养成类游戏开发公司实时计算和数据仓库方案
2）数据明细层：操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入Lindorm SQL服务，也可以直接使用JDBC写入数据；3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到...
应用场景
只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，极大地节省了成本，降低了技术风险。同时，OceanBase 数据库的分区表方案也可以使得用户...
数据质量教程概述
数据质量是数据分析结论有效性和准确...及时性 及时性主要体现在最终ADS层的数据可以及时产出。为保证及时性，您需要确保整条数据加工链路上的每个环节都可以及时产出数据。本教程将利用DataWorks智能监控功能保证数据加工每个环节的及时性。
数据质量教程概述
数据质量是数据分析结论有效性和准确...及时性 及时性主要体现在最终ADS层的数据可以及时产出。为保证及时性，您需要确保整条数据加工链路上的每个环节都可以及时产出数据。本教程将利用DataWorks智能监控功能保证数据加工每个环节的及时性。
区域热力层
如果您想自定义修改默认的区域热力层地理边界geojson数据，可以通过配置地理边界geojson数据接口，可将提取到的区域GeoJSON边界数据应用到DataV中，配置方法如下。数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以...
区域热力层（v1.x版本）
区域热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括区域的标注、颜色、边线、鼠标交互事件以及位置信息等，能够以热力区域的形式表现地理位置上的区域信息。本文介绍区域热力层各配置项的含义。重要 当前为v1.x版本...
区域热力层（v2.x版本）
区域热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括区域的标注、颜色、边线、鼠标交互事件以及位置信息等，能够以热力区域的形式表现地理位置上的区域信息。本文介绍区域热力层各配置项的含义。注意 当前为v2.x版本...
区域热力层（v3.x版本）
数据源面板 数据接口 您可以通过配置数据接口，自定义区域热力层的样式。区域热力层支持数据优先渲染。选择 区域热力层 组件 数据 页签下的 数据接口。单击 配置数据源，在 设置数据源 面板中，选择 数据源类型 为 静态数据，参数说明如下...
区域热力层（v4.x版本）
省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以直接使用。地市级：以提取浙江省范围内所有地级市边界数据为例，提取方法如下图所示。区县级：以提取肇庆市范围内所有区县边界数据为例，提取方法如下图所示。...
01新建模型目录
与明细数据层相比，维度数据层有着相同的数据粒度，但是具有更小的数据量、更快的查询速度。操作步骤 登录 数据资源平台控制台。在页面左上角选择>协同。在顶部菜单栏，单击 图标，选择工作组。在左侧导航栏，单击 图标，选择 数据模型设计...
创建逻辑模型：应用表
您也可以根据业务需求，选择将应用表挂载至其他数据层。创建数据分层，详情请参见 创建数仓分层。已创建数据集市或主题域，用于确定统计数据的业务场景。详情请参见 数据集市、主题域。已创建时间周期，用于确定统计数据的时间范围。详情请...
CDM接口数据层设计规范
本文为您介绍CDM接口数据层设计规范。接口数据层将不同数据域的汇总数据预关联在一个物理表，开放给应用使用，以减少应用层多次重复JOIN的成本开销，CDM接口数据层更适用于实时计算。命名规则：{project_name}.dwi{业务 BU 缩写/pub}{数据...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
概览
整体迁移分为应用迁移和数据迁移，应用层可以实现平滑迁移，数据迁移提供了多种方案。暂不支持 您可以通过外表文件中转导入。Teradata应用迁移至AnalyticDB PostgreSQL AnalyticDB PostgreSQL版 对Teradata语法有着较好的兼容，您可以将...
表管理
通常，您可基于数仓分层将表层级划分为如下层级：数据引入层ODS（Operational Data Store）公共维度层DIM（Dimension）明细数据层DWD（Data Warehouse Detail）汇总数据层DWS（Data Warehouse Summary）应用数据层ADS（Application Data ...
复合指标
汇总数据层：用于承载公共层的复合指标。应用数据层：用于承载应用层的复合指标。已创建业务过程，或数据集市/主题域，用于确定复合指标所反映的特定场景或产品的数据类别。不同分层的复合指标其创建要求具体如下：复合指标（公共层）：需...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL作业开发方式，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
解决方案与客户案例
数据层：数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
外部数据
一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。在 contrib 模块中有一些外部数据包装器。其他类型的外部数据包装器可以在第三方产品中找到。要访问外部数据，我们需要建立一个外部...
数仓规划概述
数仓分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
冷热分层
冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至整个生命周期都不会被访问。冷热数据的区分方式如下：按照数据的创建时间：通常，数据写入初期，用户的关注度较高且访问频繁，...
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
创建逻辑模型：汇总表
您也可以根据业务需求，选择将汇总表挂载至其他数据层。创建数据分层，详情请参见 创建数仓分层。已创建数据域。汇总表是基于 数据域 创建的，用于确定您需要建模的业务类型，承载业务过程。创建数据域，详情请参见 数据域。已创建时间周期...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
添加并配置组件
在 数据源 页签将文中的 od飞线层数据json文件 数据复制粘贴到数据源编辑框中。单击 单点柱状层 子组件，在样式页签自定义修改 柱子高度 和 填充颜色 等柱子样式。在 数据源 页签将文中的 单点柱状层数据json文件 数据复制粘贴到数据源编辑...
数据保护机制
数据流出策略二：设置TrustedProject 如果当前项目处于数据保护状态，当需要支持向目标项目执行数据流出操作时，项目所有者可以将目标项目设置为当前项目的TrustedProject，则此行为不会被视为触犯数据保护机制。如果多个项目之间两两互相...
阶段三：数据安全持续运营
场景二：数据违规流转准实时告警 开发者在开发环境中使用数仓数据构建应用时，可能存在 将ODS层数据同步至分析层项目空间、将分析层数据同步至数据仓库之外的存储介质（业务数据库或对象存储）等情况，此类行为极易造成数仓分析层数据可用...
概述
数据分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
热力层
在场景编辑器内配置热力层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上热力数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目 下拉列表...
热力层
在场景编辑器内配置热力层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上热力数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目 下拉列表...
X-Engine简介
X-Engine使用了 LSM-Tree 作为分层存储的架构基础，并进行了重新设计：热数据层和数据更新使用内存存储，通过内存数据库技术（Lock-Free index structure/append only）提高事务处理的性能。流水线事务处理机制，把事务处理的几个阶段并行...
- 产品推荐
- 这些文档可能帮助您