使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。说明 二级索引包括全局二级索引和本地二级索引。关于二级索引的更多信息，...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化Client。已创建二级...
读取数据
表格存储提供了单行读取、批量读取和范围读取的查询方式用于读取数据表中数据。当要读取单行数据或者批量读取表中数据时，您必须指定行的完整主键；当要范围读取表中数据时，您需要指定完整主键范围或者主键前缀。读取数据时支持配置返回...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
创建数据加工任务
日志服务支持您使用数据加工读取源Logstore中的数据，对数据进行加工处理后，写入到不同的目标Logstore中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。前提条件 已采集...
什么是PolarDB PostgreSQL企业版
数据结构多样时，可以选择将结构化数据存储在PolarDB，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。DTS：您可以使用数据传输服务DTS将本地数据库迁移到云上的 PolarDB。OSS：对象存储服务OSS是阿里云提供的海量、安全、低成本...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
算子级别诊断结果
如果分布字段的值分布不均匀，那么数据存储在各个节点上时也会不均匀，最终导致数据读取时，各个节点在读取数据时存在时间上的长尾，影响最终的查询效果。建议 通过选择合适的分布字段来减少表扫描数据量的倾斜。优化方法，请参见 分布字段...
强一致分布式事务
另外，分布式数据库通常数据存储规模更大，对于备份恢复的一致性有更大的挑战。PolarDB-X 在存储节点（DN）的数据和变更日志中都保存了分布式事务的中心授时（包含了时间戳信息），任意时间点的数据恢复（PITR，point-in-time recovery）都...
IO加速
开启IO加速功能后：如访问的是非临时数据（正常的表、视图等数据），则还是从云盘读取数据到内存中进行处理；如访问的是临时数据（临时表、临时文件等数据），则从高速缓存盘读写数据。具体而言，实例创建的临时表等临时对象（不显式指定表...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
使用ClickHouse-Local迁移上云
clickhouse local 示例1：使用集成引擎从MySQL迁移到云数据库ClickHouse企业版 您可以使用集成表引擎（通过MySQL表函数动态创建）从源MySQL数据库读取数据，并使用remoteSecure表函数将数据写入云数据库ClickHouse企业版集群上的目标表。...
读取优化
scan.setCaching(int caching)/大scan可以设置为1000 请求指定列族或者列名 HBase是列族数据库，同一个列族的数据存储在一块，不同列族是分开的，为了减小IO，建议指定列族或者列名。离线计算访问Hbase建议禁止缓存 当离线访问HBase时，...
玄武分析型存储
玄武分析存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层...
边缘存储
例如，开发者在控制台把数据写入边缘存储，然后在ER代码内调用内置API高频读取数据来处理客户端请求。使用限制 限制项 说明 存储容量 单个阿里云账号：最大支持10 GB。单个存储空间（NameSpace）：最大支持1 GB。Key-Value 单个Key：最大...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
PAI-TF数据IO方式介绍
先读取数据后再计算，假设读入用时0.1s，计算用时0.9s，这样每过1s，GPU都会有0.1s空闲，降低了运算的效率。高效的IO方式 TensorFlow读取方式是将数据读取转换成OP，通过Session.run的方式读取数据。读取线程将文件系统中的图片读入到一个...
产品计费
免费试用默认为您开通3个数据库实例和1,000 GB的OSS数据存储容量（即支持防护的OSS数据量）。计费项 DSC 计费项 计费项 规格 基础版 企业版 数据库实例数 说明 支持管理RDS实例、PolarDB、MaxCompute项目等类型的云产品。1~20个实例 200元/...
方案实现
店铺（md5）（主键）类型 店铺名称 店铺位置 店铺评分 人均消费 o0057022192 0000000f470ef0ef0f0f548b925ceffela7e3 杭帮菜 韩村杭帮菜 36.76613，111.41461 2.87 63.67 步骤四：读取数据 数据读取分为两类：主键读取 基于原生表格存储的...
过滤器
当在该次扫描的5000行或者4 MB数据中没有满足过滤器条件的数据时，得到的Response中的Rows为空，但是next_start_primary_key可能不为空，此时需要使用next_start_primary_key继续读取数据，直到next_start_primary_key为空。参数 参数 说明...
通过Logstash导入数仓版
Logstash能够以连续的流式传输方式轻松地从用户的日志、指标、Web应用、数据存储以及AWS服务采集数据。过滤-实时解析和转换数据 数据从源传输到目标存储的过程中，Logstash过滤器能够解析各个事件，识别已命名的字段来构建结构，并将它们...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
产品概述
读一致性 集群地址利用LSN（Log Sequence Number）确保读取数据时的全局一致性，避免因为主备延迟引起的不一致。毫秒级延迟（物理复制）利用基于Redo的物理复制代替基于Binlog的逻辑复制，提升主备复制的效率和稳定性。即使对大表进行加...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
块存储
您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储，可满足绝大部分通用业务场景下的数据存储需求。适用场景 阿里云为您的云服务器ECS提供了丰富的 块存储产品类型，包括基于分布式存储架构的云盘以及基于物理机本地硬盘的本地盘...
离线批量读取数据
表格存储提供了BulkExport接口用于在大数据场景下批量读取数据表中的数据。数据写入到数据表后，您可以根据指定条件进行数据读取。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。参数 参数 说明...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
概述
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。读写分离：读写分离功能是在只读实例的基础上，额外提供了一个读写分离地址，联动主实例及其所有...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
设置列索引的排序键
读取数据时只考虑相关和可能相关的列数据块。列数据块有不同次序的组织方式，进而会产生不同组合的列数据块集合，Pruner也会有不同的过滤效果，因此，用户可以根据查询条件来修改列数据块的排列顺序，以提高查询性能。如上图所示，当执行...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
分析外部OSS上的数据
开放的数据存储格式（如ORC、Parquet）有着广泛的兼容性以及高压缩比，便于数据在不同系统之间流转。技术原理 列存索引（IMCI）是一个高性能的列存分析引擎，相关文档请参见 PolarDB HTAP实时数据分析技术解密，ORC和Parquet也是列存格式，...
读取文本文件内容
1.组件介绍 说明 必要前置组件：无 利用本组件可以读取文本文件内容 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 ...
Query Profile介绍
LocalDiskReadIOTime 从本地缓存读取数据产生的I/O耗时。该指标仅适用于存算分离实例。RemoteReadIOTime 从远端OSS读取数据产生的I/O耗时。该指标仅适用于存算分离实例。IoSeekTime IO Seek寻址过程产生的总耗时。该指标仅适用于存算分离...
过滤器
当在该次扫描的5000行或者4 MB数据中没有满足过滤器条件的数据时，得到的Response中的Rows为空，但是NextStartPrimaryKey可能不为空，此时需要使用NextStartPrimaryKey继续读取数据，直到NextStartPrimaryKey为空。使用方式 重要 只支持...
产品优势
DBS通过使用阿里实时数据流技术，读取数据库日志并进行实时解析，然后备份至云端存储上，实现对数据库的增量备份。通常，DBS可以将增量备份的延迟控制在秒级别以内，根据实际网络环境不同，延迟时长也会不同。并行备份：全程无锁备份、多...
ETL工具支持概览
您可以直接从其他数据源读取数据，写入到 AnalyticDB PostgreSQL版 中。如果数据量较大，需要并发导入，则建议您先通过数据集成服务把数据从其他数据源导入到OSS，再通过OSS外部表导入 AnalyticDB PostgreSQL版。Pentaho Kettle 数据集成...
- 产品推荐
- 这些文档可能帮助您