概述
从层次结构方面来看，列存引擎节点采用Delta+Main（类LSM结构）二层模型，采用了标记删除的技术，确保了行存和列存之间实现低延时的数据同步，可以保证秒级的实时更新。数据实时写入到MemTable，在一个group commit的周期内，会将数据存储...
核心概念的层次结构
MaxCompute具有层次结构，您可以通过了解其结构，为后期项目规划、安全管理等提供思路。本文为您介绍MaxCompute中核心概念的层次结构及简要含义。MaxCompute核心概念的层次结构如下。核心概念 说明 Project（项目）项目是MaxCompute的基本...
块关系
术语 块是基本 SPL 结构，该结构由可选的声明部分、必需的可执行部分和可选的异常部分组成。块实现独立的存储过程和函数程序、匿名块、触发器、包、子存储过程和子函数。标识符（变量、游标、类型或子程序）是块本地的，意味着它在给定块的...
概述
但是，不能对层次结构中较低层的子程序进行相同的标识符访问和调用。子存储过程和子函数可从以下任何类型的SPL程序中进行声明和调用：独立的存储过程和函数。匿名块。触发器。包。对象类型主体的存储过程和函数。在上述任意程序内声明的子...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
PolarDB PostgreSQL版架构介绍
而全局结构在进程重启后需要重新初始化。而BufferPool中并不是所有的Page都是可以复用的。例如：在重启前，某进程对Page上X锁，随后crash了，该X锁就没有进程来释放了。因此，在crash和restart之后需要把所有的BufferPool遍历一遍，剔除掉...
PolarDB PostgreSQL版架构介绍
而全局结构在进程重启后需要重新初始化。而BufferPool中并不是所有的Page都是可以复用的。例如：在重启前，某进程对Page上X锁，随后crash了，该X锁就没有进程来释放了。因此，在crash和restart之后需要把所有的BufferPool遍历一遍，剔除掉...
MySQL InnoDB空间文件
基本结构如下：页 在InnoDB中，16 KB大小的页（page）是最小的原子单元。其他的大小都在页之上，因此：1 page=16 KB=16384 bytes 1 extent=64 pages=1 MB FSP_HDR page=256 extents=16384 pages=256 MB Page有最基础的38字节的FIL Header和...
玄武分析型存储
多种索引类型多路归并查找的过程如下所示：结构化与非结构化融合 玄武存储层索引管理器实现结构化索引与非结构化索引的统一管理，如数值类的BKD索引、字符串类的倒排索引、非结构化的JSON索引及向量索引，还有文本数据的全文索引。对计算层...
偏好设置接口
是否允许启用持久化缓存-是否清除本地缓存 该功能旨在提升首屏加载速度，但持久化缓存会将上一次解析到的结果保存在本地持久层，App重启后，如果启动持久化缓存会优先从持久层加载解析结果。所以存在第一次使用的IP为过期IP（TTL过期，...
逻辑结构说明
Dataphin业务模型的核心概念具有一定的逻辑结构，您可以通过了解其结构，为后期项目规划、建模等提供思路。本文为您介绍Dataphin中核心概念的逻辑结构及简要含义。Dataphin核心概念的逻辑结构如下图所示。由上图可见，Dataphin的架构包括...
Native 框架简介
统一组件库架构 AntUI 的整体架构类似于积木搭建，由下至上构建出 AntUI 统一控件体系：由下而上的构架层级及其描述如下表所示：构架层级 描述 基础层（Foundation）视觉规范单元化的体现，构建 AntUI 体系的基础，主要包含原子资源、原子...
维度建模
步骤三：数据指标 概览 原子指标和派生指标可以被汇总层或应用层表模型关联。在后续建表模型时，我们可以快速勾选派生指标，构建模型，模型中的字段也可以和指标构建关联关系。例如：原子指标 mbr_cnt 被汇总表模型“dws_ec_mbr_cnt_std”...
X-Engine简介
在持久化层如何实现高效，就需要讨论每层的细微结构。数据组织 X-Engine的每层都划分成固定大小的Extent，存放每个层次中的数据的一个连续片段（Key Range）。为了快速定位Extent，为每层Extents建立了一套索引（Meta Index），所有这些...
概述
数据分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
功能特性
Tair扩展数据结构 读性能增强 对带有Proxy的实例，可自动分析当前请求中存在的热点key，并将其存放至Proxy本地，再次遇到相同请求的时候Proxy能够直接返回结果而无需再转发至DB层，从而实现热点key的访问加速。通过Proxy Query Cache优化...
数据建模：智能数据建模
适用场景 DataWorks智能建模可助力企业构建自身建模能力，挖掘企业的数据资产价值，例如：海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个...
功能与优势
SQL引擎在兼容开源Flink语法的同时增加了一系列优化，包括但不限于算子的状态结构优化、计算层延迟物化、Codegen增强，以及针对Join场景如维表Cache增强、数据倾斜，流Join Minibatch优化、精细化的状态设置等，实现CPU、内存利用率的提升...
云市场API概览
通用混贴票证识别 通用混贴票证识别，基于对客户实际业务流应用场景中对OCR智能化、语义化、泛在化识别能力的需求，有效整合读光通用高精度文本识别、结构化理解、检测分类及自然语义理解等关键技术，有效实现自动分类、关键有效信息精准...
识别任务说明
识别任务用来扫描资产中的敏感数据，对数据进行分类分级。数据安全中心提供两种识别任务模式：系统默认任务和自定义...相关文档 查看敏感数据识别结果 配置识别模板 支持的数据库类型 支持识别的原子模型 数据扫描会影响我的数据库性能吗？
零售电商数据建模
层级 描述 数据引入层 ODS（Operational Data Store）ODS层用于存放 未经过处理的原始数据 至数据仓库系统，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。公共维度层 DIM（Dimension）DIM层使用维度...
Kibana FAQ
可能原因 解决方法 存在多个Kibana系统索引或者数据结构发生了变化 删除.kibana 开头的相关索引，并通过控制台重启Kibana节点，或者重启Elasticsearch实例，重启操作请参见 重启实例或节点。警告 删除.kibana 索引后，会丢失Kibana中已创建...
向量介绍
每一层图的检索逻辑大致相同（第0层逻辑有些差异），在第k层图遍历收敛到一个节点后，会将其作为第k-1层的入口节点并继续在第k-1层遍历。相较于第k-1层图，第k层图包含的节点更加稀疏，节点之间的距离更长，这使得第k层图游走时的步长更大...
如何基于LSM-tree架构实现一写多读
本文主要阐述如何基于LSM-tree结构的存储引擎实现数据库的一写多读能力。LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
工程脚手架和Annotation注解
本文介绍工程的脚手架结构、依赖关系和相关Annotation注解。工程脚手架结构 工程脚手架结构示例如下：工程Module Module 职责 说明 Entry 核心业务入口。业务入口，当应用通过SpringCloud实现则Controller在该模块编写，通过Controller调用...
CREATE DATABASE AS（CDAS）语句
CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更的同步。本文为您介绍CREATE DATABASE AS（CDAS）的使用方法，并提供了多种使用场景下的示例。背景信息 CDAS是 CTAS 语法的一个语法糖，用于实现整库同步、多表同步的功能。...
从零开始完成无锁结构变更
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
Phoenix全增量迁移
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量高效性。单个节点迁移速度可达到150MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移稳定性。有完善的错误重试机制，实时监控任务速度和进度，支持任务失败报警...
通用数据结构
Layer Layer返回结构体 参数名称 类型 示例值 描述 layerName String Layer-name 层的名称。version Integer 1 层的版本。description String Layer-description 层的描述。code LayerCode 指定Code ZIP包。codeSize Long 421 系统返回的...
物联网存储介绍
模型 描述 宽表模型 类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、局部事务、原子计数器、过滤器等功能。更多信息，请参见 宽表模型。时序模型 针对时间序列数据的特点进行...
全增量数据同步
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量高效性。单个节点迁移速度可达到150MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移稳定性。有完善的错误重试机制，实时监控任务速度和进度，支持任务失败报警...
应用上云方案设计
解决方案 双向代理层 在微服务和单体应用之间构建一个双向代理层，通过代理层完成新旧系统的对接集成，避免相互干扰，保持彼此松耦合状态。代理层还可以对单体式应用进行服务化封装，让其像微服务一样以 REST的方式对外服务。代理层支持...
边缘模拟器环境搭建和使用介绍
Linker_Install目录结构如下：.├─certificate#边缘模拟器证书，模拟器维度唯一，由阿里提供，无需改动├─elevator_control_driver.json#梯控协议参数配置，默认无需改动├─access_control_driver.json#门禁协议参数配置，默认无需改动...
常见问题（FAQ）
是的，您可以使用结构化流直接将数据写入Delta表并从Delta表中读取。Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取？Delta不支持DStream API。我们建议进行表流读取和写入。使用Delta Lake时，是否可以轻松地将代码...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
确定需求
基于上述拆解，您还需要进一步思考并设计明细数据层的事实模型（原子指标中成交金额的数据来源）、公共可引用的维度模型（统计粒度的来源，且需要与成交金额所属事实模型有关联关系）和汇总数据层模型（原子指标、业务限定、统计周期的拆解...
OpenAPI列表
指标 GetLogicalDefinitionSubTree 获取建模研发规范定义对象的导航树结构，包含原子指标、业务限定、派生指标的导航树结构。ListAtomicIndex 分页查询原子指标列表信息，若不设置搜索条件，将默认查询指定项目下的所有原生原子指标、衍生...
- 产品推荐
- 这些文档可能帮助您