数据导出到OSS概述
读取表格存储数据时会消耗读吞吐量，表格存储会根据实际计算消耗折算成CU进行计费。同时根据实例类型不同，计费时需要区分按量读CU以及预留读CU。说明 关于实例类型和CU的更多信息，请分别参见 实例 和 读写吞吐量。数据同步到OSS后，OSS会...
高级管理FAQ
当您使用安全服务（例如云安全中心的防勒索服务）扫描通用型NAS低频存储或归档存储中的文件时，安全服务会读取目标文件中的数据，文件存储NAS将收取低频存储或归档存储访问流量费用。更多信息，请参见 通用型NAS计费。创建经典网络挂载点时...
数据归档
OSS和读取会占用一部分内存，同时访问OSS侧数据将占用一定比例的ECS的网络带宽资源，因此需要合理调整数据转换和数据访问的速度和频率。开启和关闭数据归档功能 开启数据归档功能 您可以在实例购买页或实例详情页开启数据归档功能：实例...
方案设计
另一方面，如果我们把一个平面的格点数据存储到一列中，在整读整取时效率比较高，但是如果只读取某个点，就会读取很多的无效数据，效率又会变得比较低。因此我们采取一种折中的方案，对平面的二维数据再次进行切分，切分成更小的平面数据块...
深度解析PolarDB数据库并行查询技术
例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些操作可以并行执行，并且可以带来足够的收益。并不是说并行化改造一定会有收益。例如，对一个数据量很小的表，可能只是几行，如果也对它进行并行读取的话...
增量查询
Transactional Table 2.0支持增量写入和存储，最重要的一个考虑就是支持增量查询以及增量计算优化，为此，专门设计开发了新的SQL增量查询语法来支持近实时增量处理链路。增量查询的处理过程 增量查询Transactional Table 2.0的处理过程如下...
消息队列Kafka
在topic-pattern模式下，不仅读取已有topic的新增分区数据，也会读取符合正则匹配的新增topic的所有分区数据。scan.header-filter 根据Kafka数据是否包含指定的消息头（Header）对数据进行条件过滤。String 否 无 Header key和value使用...
存储成本优化
在使用数据时如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。假如最小统计周期为天，建议采用日期作为分区字段。每天将数据迁移到指定分区，再读取指定分区的数据进行下游统计。假如最小统计...
Postgres CDC（公测中）
全量阶段读取分片时，会读取低水位线和高水位线之间的日志来保证一致性。如果SQL要做聚合、关联等操作，不建议跳过全量阶段日志的读取。类型映射 Postgres CDC和Flink字段类型对应关系如下。Postgres CDC字段类型 Flink字段类型 SMALLINT ...
SQL处理优化
从节省计算成本的角度，还需要特别说明一个典型场景，在后付费的SQL查询场景中，由于Transactional Table 2.0源表数据可能存在大量中间状态的记录，即Update/Delete记录，而Storage Reader会读取出来所有的中间状态记录进行Merge，只输出...
转换存储类型
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
Hudi数据源
默认情况下，SelectDB的读请求只会读取Hudi最新版本的快照，您可以使用 FOR TIME AS OF 语句，根据快照的时间（时间格式 和Hudi官网保持一致）读取历史版本的数据。示例如下：SELECT*FROM hudi_tbl FOR TIME AS OF"2022-10-07 17:20:37;...
配置Kafka输入组件
例如：{"data":{"name":"bob","age":35 } } 为Kafka记录的value值，当源头表字段配置为data.name时，将会读取bob作为这个字段的值并写入对应目标表，支持添加的字段类型为Java类型和datax的映射类型。同时可以对已添加的字段执行如下操作：...
配置Kafka输入组件
例如：{"data":{"name":"bob","age":35 } } 为Kafka记录的value值，当源头表字段配置为data.name时，将会读取bob作为这个字段的值并写入对应目标表，支持添加的字段类型为Java类型和datax的映射类型。同时可以对已添加的字段执行如下操作：...
时序表操作
时序模型通过时序表存储时间序列数据，单表能提供高并发写入和查询以及PB级海量数据的低成本存储。创建时序表时，您可以配置数据生命周期 和为时序表创建分析存储。创建时序表后，您可以根据实际管理时序表，例如获取实例中的所有时序表...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
大数据计算服务MaxCompute
默认情况下源表为全量模式，仅会读取partition参数中指定的分区，在读完所有数据后结束运行，状态转换为finished，不会监控是否有新分区产生。如果您需要持续监控新分区，请通过WITH参数中指定startPartition使用增量源表模式。说明 维表...
计算成本控制
其中，T包含5个列(a,b,c,d,e)，列c，d将会被忽略，只会读取a，b，e列。使用分区剪裁。分区剪裁是指对分区列指定过滤条件，使得只读取表的部分分区数据，避免全表扫描引起的错误及资源浪费。SELECT a,b FROM T WHERE partitiondate='2017-10...
产品计费
相关云产品计费项 DSC 在识别OSS和MaxCompute的敏感数据时，会读取相应产品的数据。读取数据操作在相应产品中会产生费用，以下是详细说明。云产品 计费项 计费规则 计费示例 OSS GET类型请求 DSC 识别一个OSS文件需要发送两次GET类型请求。...
PolarDB PostgreSQL版架构介绍
优化2：页面回放优化 在传统数据库中日志回放的过程中会读取大量的Page并逐个日志Apply，然后落盘。该流程在用户读IO的关键路径上，借助存储计算分离可以做到：如果只读节点上Page不在BufferPool中，不产生任何IO，仅仅记录LogIndex即可。...
PolarDB PostgreSQL版架构介绍
优化2：页面回放优化 在传统数据库中日志回放的过程中会读取大量的Page并逐个日志Apply，然后落盘。该流程在用户读IO的关键路径上，借助存储计算分离可以做到：如果只读节点上Page不在BufferPool中，不产生任何IO，仅仅记录LogIndex即可。...
缓存
其他信息 缓存数据本地加密存储，通过 API 读取时会自动解密返回。iOS 客户端支持 iTunes 备份。my.setStorageSync 同步将数据存储在本地缓存中指定的 key 中。说明 mPaaS 10.1.32 及以上版本支持该接口。这是同步接口。入参 名称 类型 必...
离线同步数据质量排查
写端数据一致性排查 数据集成的Writer插件用来将源头读取到的数据写出至数据目标端，每一个目标存储类型都会有对应的Writer插件，Writer插件会根据用户配置的数据写出模式（包括冲突替换策略），使用JDBC或者对应数据源SDK最终将数据提交给...
方案扩展
方法二：完全使用推模式可以彻底解决这个问题，但会增大存储量，并增长大V微博发送总时间，从发给第一个粉丝到发给最后一个粉丝可能要几分钟时间（一亿粉丝，100万行每秒，需要100秒），还需要为最大并发预留好资源（如果使用阿里云表格...
PutBucketArchiveDirectRead
开启归档直读后，直接读取归档存储类型的文件，会产生归档直读数据取回容量（RetrievalDataArchiveDirect）费用。对于已经解冻的归档存储类型的文件，不会产生归档直读数据取回容量费用。详情请参见 数据处理费用。请求语法 PUT/?...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3...读取CSV类型文件使用的CsvReader进行读取，会有很多配置，不配置则使用默认值。否 无
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
时序模型
表格存储 的Java SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
时序模型
表格存储 的Go SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
FTP数据源
读取CSV类型文件使用的CsvReader进行读取，会有很多配置，不配置则使用默认值。否 无 fileFormat 读取的文件类型，默认情况下文件作为csv格式文件进行读取，内容被解析为逻辑上的二维表结构处理。如果您配置为binary，则表示按照纯粹二进制...
现代IM系统中的消息系统—架构
表格存储的Timeline是一个对消息系统内消息模型的一个抽象，能简化和更好的让开发者理解消息系统内的消息同步和存储模型，基于此模型我们会再深入探讨消息的同步和存储的选择和实现。Timeline模型是一个对消息抽象的逻辑模型，该模型会帮助...
MySQL
API种类 Datastream和SQL 是否支持更新或删除结果表数据 是 特色功能 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证不多读一条也不少读一条数据。即使发生故障，也能保证通过Exactly ...
按使用功能计费模式计费项
日志服务的所有计费项都是单独计费的，例如您存储日志会产生日志存储费用，您采集日志会产生写流量费用等。本文介绍日志服务按使用功能计费模式计费项的组成及付费方式。说明 日志服务按使用功能计费模式支持采集日志和时序数据，时序数据...
通过控制台使用分析存储
在 表格存储 控制台创建时序模型实例后，您可以在实例下创建分析存储并使用SQL查询时序数据。注意事项 时序分析存储功能将从2023年12月20日正式开始收费。目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京...
通过SDK使用分析存储
使用SDK在已开启分析存储的时序模型实例下为时序表创建分析存储并为分析存储创建绑定关系，然后使用SQL查询数据。说明 您可以通过 Java SDK 或者 Go SDK 使用分析存储功能，本文以Java SDK为例介绍分析存储的使用。注意事项 时序分析存储...
产品优势
本文介绍了 表格存储 的优势，包括多模型数据存储、多元化数据索引、多计算生态接入、访问安全性等。多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
索引选择策略
表格存储作为海量结构化大数据存储，支持不同的索引结构，便于不同场景的查询分析加速使用。使用SQL查询功能时，您可以通过显式访问二级索引表进行索引查询。对于多元索引，表格存储提供了自动多元索引选择策略和显式访问多元索引两种方式...
Network ACL
背景信息 表格存储 默认会为每个实例创建一个公网域名、一个 VPC 域名以及一个经典网域名。更多信息，请参见 服务地址。公网域名：对互联网可见。用户可以在互联网通过公网域名访问 表格存储 资源。重要 通过互联网访问 表格存储 会产生外...
- 产品推荐
- 这些文档可能帮助您