读取优化
scan.setCaching(int caching)/大scan可以设置为1000 请求指定列族或者列名 HBase是列族数据库，同一个列族的数据存储在一块，不同列族是分开的，为了减小IO，建议指定列族或者列名。离线计算访问Hbase建议禁止缓存 当离线访问HBase时，...
概述
表（Table）数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性，且可以划分为多个Tablet。分片（Tablet）一个表可以被分到若干个分片中，称为Tablet。一个Tablet是指表上一段连续的Segment。一个特定的Tablet会被复制到多个...
Tablestore外部表
背景信息 表格存储（Tablestore）是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储和实时访问，详情请参见 Tablestore文档。您可以通过DataWorks配合MaxCompute对外部表进行可视化的创建、搜索、查询、配置...
CREATE INDEX
Lindorm提供了 三种 高效易用的索引：二级索引、搜索索引和列存索引，分别适用于非主键匹配场景、多维查询场景 和列存储数据查询场景。在使用CREATE INDEX语法创建索引时，您可以指定索引类型并添加索引属性。引擎与版本 CREATE INDEX语法...
通过Lindorm Shell访问宽表引擎
alter '表名',NAME=>'列族名',TTL=>2592000 如果想要取消数据有效期，即永久保留数据，可以将TTL的值设置为FOREVER，示例代码如下：alter '表名',{NAME=>'列族名',TTL=>'FOREVER'} 为指定表设置预分区。create'表名',{NAME=>'列族名',...
HBase Shell使用介绍
创建一个名称为test，列族名为cf的表 create 'test','cf' 查询所有表的信息 使用 list 命令来查询HBase数据库中所有表的信息，也可以使用正则表达式来过滤表。list list 'abc.*' list 'test' 插入数据 使用 put 命令为新创建的表插入数据。...
时序分析存储概述
高数据压缩率存储 列存储能更好地利用数据重复性，结合RLE、DICTIONARY、DELTA、BIT-PACKING等方法进行压缩编码，将数据进行压缩，存储空间利用率高，从而节省存储成本。灵活分层的TTL设置 在同一张时序表上，时序数据存储和时序分析存储...
列存索引技术架构介绍
同时，结合 PolarDB 基于共享存储一写多读的架构特征，其包含如下几个关键的技术创新点：存储引擎（InnoDB）支持存储列式索引（Columnar Index），用户可以通过DDL语句为一张表中的全部列或者部分列创建列索引，列索引采用列压缩存储，其...
PolarDB HTAP实时数据分析技术解密
IBM在2013年发布的10.5版本（Kepler）中，增加了DB2 BLU Acceleration组件，通过列式数据存储配合内存计算以及DataSkipping技术，大幅提升分析场景的性能。三家领先的商用数据库厂商，均同时采用了行列混合存储结合内存计算的技术路线。列...
Parquet（推荐）
Parquet是一种开源的面向列的数据存储格式，它提供了各种存储优化，尤其适合数据分析。Parquet提供列压缩从而可以节省空间，而且它支持按列读取而非整个文件的读取。作为一种文件格式，Parquet与Apache Spark配合的很好，而且实际上也是...
创建Kudu数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Kudu。如果您最近使用过Kudu，也可以在 最近使用 区域选择Kudu。同时，您也可以在搜索框中，输入Kudu的关键词，快速筛选。在 新建Kudu数据源 对话框中，配置连接数据源参数。配置数据源的...
表数据格式
数据存储分桶 为了进一步优化读写效率，Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，bucket数量可通过配置表属性 write.bucket.num 指定，因此对同一张表或分区的数据，写入数据会按PK...
表格存储和HBase的区别
CreateTable 表格存储只支持单列族，在创建表时只允许设置一个列族，列族中支持MaxVersion和TimeToLive两个参数。Maintenance task 在表格存储中下列的任务维护相关接口都会被自动处理。abort(String why,Throwable e)balancer()...
宽表模型介绍
支持多版本数据存储以及数据生命周期管理，可以有效的管理数据，减少数据存储空间，降低存储成本。使用宽表模型 您可以通过以下方式进行表操作和数据操作。使用控制台 使用命令行工具 使用SDK 表操作 写入数据、读取数据 和 删除数据
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
二级索引简介
索引表数据存储量与数据表无区别，数据存储类型与实例规格绑定。更多信息，请参见 数据存储量。说明 关于实例规格和CU的更多信息，请分别参见 实例 和 读写吞吐量。相关文档 如果需要更灵活丰富的数据加速查询方式，例如多条件组合查询、...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
支持的数据脱敏算法
MD5 Salt值 敏感类型：密钥类 适用场景：数据存储 SHA-1 Salt值 SHA-256 Salt值 HMAC Salt值 遮盖脱敏（*和#）不可逆算法。适用于前端展示或敏感数据分享的场景。通过使用特殊字符星号（*）或者井号（#），对部分文字进行遮盖实现敏感数据...
宽表模型介绍
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。模型介绍 表格存储 宽表模型是类Bigtable/...
自建HBase迁移至云原生数据仓库 AnalyticDB MySQL 版 ...
多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。具体操作，请参见 开启多表归并。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另一部分不执行多表归并，您可以创建...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
PolarDB-X 1.0迁移至AnalyticDB MySQL 3.0
多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。具体操作，请参见 开启多表归并。说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另一部分不执行多表归并，...
PolarDB-X 2.0迁移至云原生数据仓库 AnalyticDB MySQL...
多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。具体操作，请参见 开启多表归并。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另...
PolarDB MySQL版迁移至AnalyticDB MySQL 3.0
多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。具体操作，请参见 开启多表归并。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另...
RDS MySQL迁移至AnalyticDB MySQL 3.0
多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。具体操作，请参见 开启多表归并。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另...
自建Oracle迁移至AnalyticDB MySQL 3.0
多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。具体操作，请参见 开启多表归并。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另...
二级索引计量计费
使用二级索引功能将产生额外的数据存储量。当向数据表写入数据时，在建立索引的过程中将产生一定的读写CU。本文介绍二级索引费用组成及计费方式。计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。...
概述
当应用程序通过规则中指定的账号连接至数据库并查询规则中指定的列时，Proxy会先将数据库返回的数据脱敏转换，再将脱敏后的数据返回给客户端。上图的脱敏规则为：仅当使用 testAcc 账号连接数据库进行查询时生效。仅对查询结果中 name 和 ...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
按扫描量付费
数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描所有分区，从而节省扫描费用。计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件，在RDS中存储一个容量为1TB的数据表。...
主键列自增
设置非分区键的主键列为自增列后，在写入数据时，无需为自增列设置具体值，表格存储 会自动生成自增列的值。该值在分区键级别唯一且严格递增。特点 主键列自增具有如下特点：自增列的值在分区键级别唯一且严格递增，但不保证连续。自增列的...
UpdateRow
该行本次需要更新的全部属性列，表格存储会根据row_change中UpdateType的内容在该行中新增、修改或者删除指定列的值。该行已存在的且不在row_change中的列将不受影响。UpdateType的取值范围如下：PUT：此时value必须为有效的属性列值。如果...
时序模型介绍
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。使用时序模型时，时间线数据占用的存储空间类型与所用实例规格（容量型存储或高性能存储）一致，时间线元数据占用的...
HBase Replication
alter 'usertable',{NAME=>'f',REPLICATION_SCOPE=>'1'} 将usertable表f列族的 REPLICATION_SCOPE 修改为1，usertable表f列族新增的数据将自动复制到备集群。说明 Replication不能复制DDL操作，所以备集群需要创建相同的表。数据复制验证。...
多元索引虚拟列
使用多元索引虚拟列功能时，您可以通过修改多元索引schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。说明 关于多元索引虚拟列的更多信息，请参见 虚拟列。注意事项 SQL查询目前不支持多元...
计算下推
数据列和数据列比较，不支持算子下推*/聚合函数 基础聚合：MIN、MAX、COUNT、AVG、SUM、ANY_VALUE 去重聚合：COUNT(DISTINCT col_name)分组函数：GROUP BY col_name 聚合函数可以对全部数据或者GROUP BY分组中的数据进行聚合，只有聚合函数...
2023年
2023-03-30 全部地域 向量计算（Proxima CE）概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...
INSERT SELECT FROM
参数 column_name：列名，如果需要将源表中的部分列数据插入到目标表中，SELECT子句中的列必须与INSERT子句中列的顺序、数据类型一致。query：可以是 SELECT FROM TABLE 或者 SELECT FROM VIEW。示例 以指定列名的方式，从CUSTOMER表中复制...
- 产品推荐
- 这些文档可能帮助您