概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
表数据格式
为了支持增全量存储和处理一体化架构，Transaction Table2.0（简称TT2）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
事务管理
比如对于Clustering操作和Insert into并发执行，即使事务Start和Commit时间出现交叉也不会冲突失败，因为Clustering操作虽然改变了数据组织方式，但没有改变数据本身的状态，和其他数据更新操作并没有影响一致性的冲突，因此允许并发执行。...
数据组织优化
本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量...
什么是EMR Serverless StarRocks
数据湖分析 StarRocks不仅能高效的分析本地存储的数据，也可以作为计算引擎直接分析数据湖中的数据，支持Apache Hive、Apache Iceberg、Apache Hudi等数据组织结构；支持Parquet、ORC、CSV等文件格式；也支持HDFS、S3、OSS等存储方式。在...
Transaction Table2.0概述
数据组织优化：Clustering：支持自动合并大量增量小文件，避免存储压力大，IO读写低效等问题。Compaction：支持手动和自动合并数据中间历史状态，有效减少数据存储和计算成本，提升数据查询效率。数据回收：系统自动回收过期数据和操作日志...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
2023年
SQL处理优化 2023-06-26 新增数据组织优化 新说明 本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
概述
将数据存储在表中的概念现今是如此常见，以致于似乎本来就很明显，但存在许多其他组织数据库的方式。Unix 类操作系统上的文件和目录构成层次数据库的示例。更现代的开发是面向对象的数据库。每个表是指定的行集合。给定表的每行具有相同的...
数据开发概述
类型 描述 对象组织及管理 DataWorks数据开发提供的对象组织与管理机制如下：对象组织：提供 解决方案>业务流程 两级管理模式。DataWorks基于业务流程提供目录树与可视化面板两种对象组织方式。您可通过目录树创建所需对象，或使用业务流程...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
Trino概述
基本概念 数据模型 数据模型即数据的组织形式。Trino使用Catalog、Schema和Table三层结构来管理数据。Catalog 一个Catalog可以包含多个Schema，物理上指向一个外部数据源，可以通过Connector访问该数据源。一次查询可以访问一个或多个...
Presto概述
基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向一个外部数据源，可以通过Connector访问该数据源。一次查询可以访问一个或多个...
产品整体介绍
数据库是数据库对象的物理集合，而模式则是数据库内部用于组织管理数据库对象的逻辑集合，模式之下则是各种应用程序会接触到的对象，比如表、索引、数据类型、函数、操作符等。使用模式把数据库对象组织成逻辑组，让它们便于管理，允许多个...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
名词解释
TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表的列名和列类型。在宽表引擎中创建的表称为 宽表，在时序引擎中创建的表称为 时序表。PRIMARY KEY 〇 〇 Primary ...
阶段一：基础防护建设
专有数据（Proprietary Data）影响组织核心竞争力、一旦泄露会对组织造成损害的数据，典型例子有设计图纸、药物配方、客户信息等。管理员可以根据上述敏感数据类型及本企业的数据属性，定义本企业/组织的数据敏感级别，一般情况下可以参考...
JindoFS介绍和使用
A：Block模式可以管理文件元数据和组织文件数据，因此可以不局限于OSS对象存储，完全可以满足各种大数据引擎对存储接口的需求。这些接口包括但不限于Rename的原子性和事务性能力、高性能本地写入、透明压缩、truncate、append、flush、sync...
维度建模概述
汇总表 汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，是对业务高度抽象后的梳理结果，为后续的业务查询，OLAP分析，数据分发等提供基础。更多汇总表的设计创建详情可参见 创建逻辑模型：汇总表。应用表 ...
关系图
逻辑模型-汇总表：用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，是对业务高度抽象后的梳理结果，为后续的业务查询，OLAP分析，数据分发等提供基础。逻辑模型-应用表：面向具体业务场景，用于组织相同时间周期、...
功能简介
数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL的形式到数据库查询，并返回符合条件的数据，将数据组装成报文格式返回。目前数据服务API提供单数据服务API，SQL转API。数据源可以是Table Store、ApsaraDB for RDS和...
统一服务
数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL的形式到数据库查询，并返回符合条件的数据，将数据组装成报文格式返回。目前数据服务API提供单数据服务API，SQL转API。数据源可以是Table Store、ApsaraDB for RDS和...
功能简介
数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL的形式到数据库查询，并返回符合条件的数据，将数据组装成报文格式返回。目前数据服务API提供单数据服务API，SQL转API。数据源可以是Table Store、ApsaraDB for RDS和...
快速入门
参数 描述 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。描述 Project的...
数据仓库研发规范概述
设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地组织与存储数据。开发阶段：数据研发者如何高效、规范地进行编码工作。测试阶段：测试人员应如何准确地暴露代码问题与项目风险，提升产出质量。发布阶段...
基本概念
本文介绍数据资源平台的基本概念。任务实例说明 任务（Task）：数据处理作业单元，任务定义了...数据API：API的源头为数据表，可以是单表也可以是多表，请求后最终以类SQL的形式到数据库查询并返回符合条件的数据，将数据组装成报文格式返回。
简介
本文主要介绍HBase Ganos的功能、优势和使用场景。重要 HBase增强版已全新升级为云原生多模...原生提供基于“分块”理念的数据存储和组织方式，保留原始像元信息，有效支撑各类分析计算场景。与Spark集成，ETL与多源空间数据分析处理更便捷。
Serverless模式
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
DataHub数据源
是 无 project 项目（Project）是DataHub数据的基本组织单元，一个Project下包含多个Topic。说明 DataHub的项目空间与MaxCompute的项目相互独立，您在MaxCompute中创建的项目不能复用于DataHub，需要单独创建。是 无 topic Topic是DataHub...
【通知】控制台全新升级
数据域 新增数据域功能，支持企业管理员基于业务属性、组织架构、数据特征等维度对数据资产进行划分，从而高效管理资产及资产中的敏感数据。安全审计 原始日志、会话信息、审计告警嵌入同一个页面不同页签中，查看审计数据更便捷。审计配置...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
升级告用户书
通过这种方式，您可以更好地组织和跟踪数据库变更，提高团队的协作效率。SQL检查功能：这个功能可以帮助您检查和评估变更请求，以确保变更的合规性和安全性。您可以通过运行SQL检查，及时发现潜在的问题，并在变更前进行必要的调整，降低...
常见问题
数据分类使用预先定义的分类规则和方法，对信息资产进行组织，为数据分析和治理提供有效的优先级策略。数据分类是数据价值分析和评估的前提条件。数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云...
索引优化
因此，根据索引的字段组织合适的数据物理分布可以有效地提高索引的性能。您可以使用排序键结合组合排序和多维排序改善数据的物理分布。同时对于行存表如果建立的是B-Tree类型的索引，可以考虑使用Cluster进行物理排序。大数据集场景下优先...
什么是云原生应用组装平台BizWorks
云原生应用组装平台BizWorks是基于组装式理念和阿里巴巴中台实践构建的一体化云原生应用开发和组装平台，提供了业务建模、微服务开发、轻应用组装、能力开放等平台功能，致力于帮助企业快速设计、构建、组装和运营可复用的业务能力组件和...
- 产品推荐
- 这些文档可能帮助您