排序加速计算
当您执行 SORT后，系统会对表数据进行排序，当数据完成排序后，AnalyticDB PostgreSQL版 即可利用数据的物理顺序，将SORT算子下推到存储层进行计算加速。如果您的SQL可以利用底层的数据顺序，则会从中获得加速收益，该特性可以基于SORT KEY...
概述
Out[5]:0 1 0 1.0 NaN 1 1.0 1.0 PyODPS PyODPS使用MaxCompute计算和存储数据，而MaxCompute并不保证数据顺序，因此PyODPS不保证数据顺序，不支持时序操作。执行层 Mars Mars包含客户端和分布式执行层。您可以通过调用 o.create_mars_...
存储加密
当MaxCompute项目中存有敏感信息如个人身份信息、财务记录、健康记录等，开启数据存储加密可保护这些数据不被未授权者访问。MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足...
表操作篇
说明 单个分区键不超过10 GB 是为了避免访问热点，而不是数据存储的限制。一张表内，不同分区键值中的数据在逻辑上是独立的。访问压力不要集中在小范围连续的分区键值中。使用示例 例如，有一张表中存储了某大学内所有学生使用学生卡消费的...
CREATE TABLE
聚集索引是分区级别的，它决定了数据的物理存储顺序，即分区内的数据会按聚集索引的键值进行排序，按顺序存储。聚集索引的键值相同或相近的数据存储在相同或相近数据块。在范围查询或等值查询中，如果查询条件与聚集索引列一致，存储引擎可...
PolarDB HTAP实时数据分析技术解密
IBM在2013年发布的10.5版本（Kepler）中，增加了DB2 BLU Acceleration组件，通过列式数据存储配合内存计算以及DataSkipping技术，大幅提升分析场景的性能。三家领先的商用数据库厂商，均同时采用了行列混合存储结合内存计算的技术路线。列...
列存索引技术架构介绍
IBM在2013年发布的10.5版本（Kepler）中，增加了DB2 BLU Acceleration组件，通过列式数据存储配合内存计算以及DataSkipping技术，大幅提升分析场景的性能。三家领先的商用数据库厂商，均同时采用了行列混合存储结合内存计算的技术路线。列...
PSL4发布说明
通过FPGA/ASIC芯片进行数据压缩可以减少写入存储介质的数据量，从而节省更多的存储空间。更多的空闲空间可以有效降低SSD磁盘固有的写放大，从而实现了性能的显著提升。数据被压缩后，物理Flash的存储数据访问量减少，从而提升了数据的访问...
PSL4发布说明
通过FPGA/ASIC芯片进行数据压缩可以减少写入存储介质的数据量，从而节省更多的存储空间。更多的空闲空间可以有效降低SSD磁盘固有的写放大，从而实现了性能的显著提升。数据被压缩后，物理Flash的存储数据访问量减少，从而提升了数据的访问...
PSL4发布说明
通过FPGA/ASIC芯片进行数据压缩可以减少写入存储介质的数据量，从而节省更多的存储空间。更多的空闲空间可以有效降低SSD磁盘固有的写放大，从而实现了性能的显著提升。数据被压缩后，物理Flash的存储数据访问量减少，从而提升了数据的访问...
宽表模型介绍
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。模型介绍 表格存储 宽表模型是类Bigtable/...
pg_statistic
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
离线同步数据质量排查
读端数据一致性排查 数据集成的Reader插件用来连接具体的源头数据存储，抽取出待同步的数据并投递给同步写端。每一个存储类型都会有对应的Reader插件，Reader插件会根据用户配置的数据抽取模式（包括数据过滤条件、表、分区、列等），使用...
如何基于LSM-tree架构实现一写多读
本文主要阐述如何基于LSM-tree结构的存储引擎实现数据库的一写多读能力。LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的...
现代IM系统中的消息系统—架构
Timeline中是根据同步位点也就是顺序ID来同步消息，所以需要保证新写入的消息数据的顺序ID绝对不能比已同步的消息的顺序ID还小，否则会导致数据漏同步，所以需要支持对新写入的数据自动分配比当前已存储的所有消息的顺序ID更大的顺序ID。...
组复制简介
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
Dataphin集成任务写入数据是读出数据的3倍
问题描述 配置集成任务pg->oracle进行数据同步，任务同步成功，但是写入数据量是读出数据的3倍。问题原因 是因为配置的组件中，如果下游一开始配置了两个及两个以上的组件，选择的数据发送方案是复制，然后又把下游给删掉了一个，此时上游...
INSERT INTO|OVERWRITE
MaxCompute支持通过 insert into 或 insert overwrite 操作向目标表或静态分区中插入、更新数据。前提条件 执行 insert into 和 insert overwrite 操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请...
Serverless 计费
Serverless读写计量单位以CU（Capacity Unit，能力单元）来计算，单行读操作返回数据大小大于4 KB，则消耗读CU为实际数据大小按4 KB整除向上取整。请求计费 Serverless读写计量单位以CU（Capacity Unit，能力单元）来计算，单行读操作返回...
管理缓存
默认的释放策略是LRUAnnotator，按照最近最少使用的顺序释放数据块。客户端读取数据块时，如果数据已经存在于Alluxio中，则客户端将直接读取对应Worker节点；如果Alluxio中不存在数据，则会先缓存数据至Alluxio中，以便下次从Worker节点...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
Oracle同步至Tablestore
本文以Oracle同步至表格存储Tablestore场景为例，为您介绍如何通过数据集成将Oracle的某张表数据实时同步到Tablestore。使用限制 本实践仅支持使用 独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Oracle作为...
半结构化分析
其中，JSON数据类型直接存储输入文本，会保存JSON数据中语义无关的空格，并且会保持JSON对象键的顺序，以及JSON数据中重复的键和键对应的数据。对于重复键在查询的时候会将最后一个遇到键的值当作有效值。JSONB数据类型则是以二进制格式来...
数据膨胀诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据膨胀功能，可以定期自动诊断数据库内的所有表，并生成诊断信息表。您可以通过诊断信息表，查看表的膨胀情况并获得相应的处理建议（如执行VACUUM或VACUUM FULL操作）。注意事项 智能诊断数据膨胀...
Kafka单表实时入湖OSS（HUDI）
OSS存储路径选择：选择入湖后数据存储在OSS的哪个路径下。编辑建表结构。当选择 自动建表 时，您需要单击 编辑表结构 按钮，在弹框中编辑建表结构。同时，支持您单击 根据上游节点输出列重新生成表结构 按钮，自动根据上游节点输出列，生成...
导入数据并查询
云原生数据仓库AnalyticDB MySQL版 提供多种数据同步方案，可满足不同场景下的数据同步需求。本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB MySQL版 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在...
概述
表（Table）数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性，且可以划分为多个Tablet。分片（Tablet）一个表可以被分到若干个分片中，称为Tablet。一个Tablet是指表上一段连续的Segment。一个特定的Tablet会被复制到多个...
MongoDB数据导入
示例如下：重要 AnalyticDB MySQL 的外表和MongoDB文档中的字段（field）名称、字段数量、字段顺序、数据类型必须相同。CREATE EXTERNAL TABLE adb_external_db.person(id int,name string,age int)ENGINE='MONGODB' TABLE_PROPERTIES='{...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确认已安装支持数据湖投递功能的表格存储Go SDK。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket。具体操作，请参见 开通OSS服务。已通过...
ST_ExportTo
对于已经是外部存储的轨迹，如果检测到其已经被存储在对应文件夹中，则不重新存储，否则将轨迹读出后重新进行存储。对数据库内数据的删改不会更新相应的外部存储文件，对外部文件的改动可能会导致数据库内的数据不可用。压缩算法选择：zlib...
ST_ExportTo
对于已经是外部存储的轨迹，如果检测到其已经被存储在对应文件夹中，则不重新存储，否则将轨迹读出后重新进行存储。对数据库内数据的删改不会更新相应的外部存储文件，对外部文件的改动可能会导致数据库内的数据不可用。压缩算法选择：zlib...
ST_ExportTo
对于已经是外部存储的轨迹，如果检测到其已经被存储在对应文件夹中，则不重新存储，否则将轨迹读出后重新进行存储。对数据库内数据的删改不会更新相应的外部存储文件，对外部文件的改动可能会导致数据库内的数据不可用。压缩算法选择：zlib...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确保已安装支持数据湖投递功能的表格存储Java SDK。关于表格存储Java SDK版本的更多信息，请参见 Java SDK历史迭代版本。前提条件 已开通OSS服务且在表格...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
- 产品推荐
- 这些文档可能帮助您