授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
表格存储收费方式详解
数据存储量、预留读吞吐量和预留写吞吐量均精确到分钟级别，在计费周期结束时会对该计费周期中的数据存储量、预留读吞吐量和预留写吞吐量分别取平均值，作为该计费周期资源的实际使用量。按量读吞吐量和按量写吞吐量精确到秒级别，统计该...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
AdvanceGenerateDataKeyPair
调用AdvanceGenerateDataKeyPair接口生成非对称的数据密钥对。使用说明 本接口通过随机数生成器产生数据密钥对，使用对称密钥的 主版本 对数据密钥对加密，并返回数据密钥对的公钥明文、私钥明文、私钥密文。您可以使用数据密钥对，在KMS...
GenerateDataKeyPair
调用GenerateDataKeyPair接口生成非对称的数据密钥对。使用说明 本接口通过随机数生成器产生数据密钥对，使用对称密钥的 初始版本 对数据密钥对加密，并返回数据密钥对的公钥明文、私钥明文、私钥密文。您可以使用数据密钥对，在KMS之外...
计算引擎版本说明
1.5.0 功能优化 优化CDC（数据源）在数据读取过程中对 null 的处理。修复稳定性问题。1.3.1 新特性 支持运行指定SQL的SparkSQL作业。资源配置项支持resourceTag，详细说明，请参见 资源配置项。功能优化 CDC（数据源）支持将HBase数据解析...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。...① 数据取回费用中的数据是从底层分布式存储系统读取的数据量，在公网传输的数据量会计入到流出流量的计费项中。
二进制函数
查询和分析语句*|SELECT to_base64(from_base64('10'))AS base64 查询和分析结果 to_base64url函数 to_base64url函数使用URL安全字符对二进制类型的数据进行BASE64编码。语法 to_base64url(x)参数说明 参数 说明 x 参数值为binary类型。...
ORC文件
它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，...
二级索引计量计费
计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时的计量规则如下：只有产生了有效的索引行才会产生写CU。只要可能产生旧索引行的删除、旧索引行的更新、...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
半结构化分析
JSONB数据类型则是以二进制格式来存储用户JSON格式数据，不会保存JSON数据中语义无关的空格，也不会保存用户JSON格式数据中对象键的顺序。对于用户输入JSON对象中具有重复键的情况，不保存重复键的对象，如果有重复键输入的话，只有最后...
二进制类型
二进制字符串可以存储以下数据类型。表 1.二进制大对象 名称 存储大小 描述 BINARY 二进制字符串的长度。定长二进制字符串，长度介于1和8300之间。BLOB 实际二进制字符串加1字节（如果二进制字符串小于127字节）或4字节（如果二进制字符串...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
时序数据存储概述
您可使用物联网平台中数据服务提供的数据存储功能，存储设备时序数据。设备时序数据包括设备上报的物模型（属性、服务和事件）数据和通过时序数据存储规则配置的自定义Topic数据。本文介绍时序数据存储的相关概念和使用。相关概念 名词 ...
iOS 常见问题
统一存储是线程安全的吗 解答：是的，统一存储的数据存储接口都考虑了线程安全性问题，可以在任意线程进行调用。如何解决与百度地图 SDK 的冲突 描述：当与某一版本的百度地图 SDK 集成时，可能出现如下 crash。解答：您需要在 App 初始化...
管理数据集合
您可以通过EMAS Serverless提供的数据存储服务API对集合（相当于MySQL中的表）进行数据读取、写入、更新、删除等操作。读取数据 以下代码示例展示了适用于不同场景的数据读取方法：从集合中读取所有数据。例如，查询所有图片：mpserverless...
数据导出到OSS概述
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
快速玩转Tablestore入门与实战
TableStore时序数据存储-架构篇 基于Tablestore实现海量运动轨迹数据存储 药品监管系统架构揭秘：海量溯源数据存储与查询 基于Tablestore实现海量摩托车的轨迹管理 超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是...
表存储格式定义
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
读取二级索引时报错OTSErrorMsg:Disallow read index ...
问题现象 读取正在构造存量数据的索引表时出现如下报错：OTSErrorMsg:Disallow read index table in building base state 问题分析 二级索引的存量构造需要对表中的存量数据进行读取，然后同步到索引表。在存量数据同步完成之前，不允许读...
物联网存储介绍
表格存储针对物联网场景中的数据存储需求推出了一站式物联网存储IoTstore解决方案，IoTstore解决方案能为物联网场景中的不同类型数据提供统一数据存储平台。同时，支持多种数据源的数据接入、流批计算引擎的对接以及数据可视化展示。整体...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
数据类型
本文描述 云数据库ClickHouse 的数据类型。数据类型列表 ClickHouse完整数据类型介绍，请参考 开源官方数据类型介绍。分类 关键字 数据类型 取值/取值范围 整数类型 Int8 Int8 取值范围：128-127。Int16 Int16 取值范围：32768-32767。Int...
时序模型计量计费
时间线数据包括产生数据的时间和对应的数据值，是时序模型中数据存储与读写操作的主要计费部分。其中数据存储支持选择高性能存储或者容量型存储，读写操作按照容量型进行计量计费。时间线元数据也称为时间序列元数据，表示一条时间线的标识...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高...
多元索引计量计费
使用多元索引时，索引数据会产生额外的数据存储量，索引查询也会消耗读吞吐量。本文介绍了多元索引的计费项、计费公式、计费示例以及常见问题。注意事项 索引单独计量计费，和数据表无关。多元索引的各计费项的价格和高性能实例费用一致。...
数据安全
数据存储安全 PAI提供数据集管理模块，支持导入公共数据集、阿里云云产品中的数据等创建为数据集，也支持扫描OSS文件夹生成索引数据集，为智能标注、模型训练做准备。读取和存储数据至OSS及NAS，实现数据集、模型等数据文件的存储安全。...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
时序分析存储概述
分析存储与时序表的数据存储相互独立，允许用户自定义数据的生命周期（TTL），对分析存储的查询操作不会对时序表的读写性能产生影响。分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果...
常见问题（FAQ）
Delta Lake使用版本化的Parquet文件将您的数据存储在您的云存储中。除版本外，Delta Lake还存储事务日志，以跟踪对表或Blob存储目录所做的所有提交，以提供ACID事务。如何使用Delta Lake读写数据？您可以使用自己喜欢的Apache Spark API来...
入湖基础操作
选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务低谷期执行此类任务，避免对业务连续性产生影响。待抽取的数据表须确认包含主键，...
GenerateDataKey
由于KMS不会记录或存储随机生成的数据密钥，因此您在存储加密后的数据时，也需要存储数据密钥的密文（CiphertextBlob）以及 Iv、Aad 和 Algorithm 参数。在请求中指定的密钥（即 KeyId）仅用于加密数据密钥明文，和生成数据密钥无关。请求...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。在RDS数据库中，按照源表结构创建相应的表。参考 数据存储配置白名单，配置RDS数据库白名单。由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中...
功能概述
表格存储 会在后台对超过存活时间的数据进行清理，以减少您的数据存储空间，降低存储成本。更多信息，请参见 数据版本和生命周期。数据存储模型 表格存储 提供多种数据存储模型，您可以根据业务需求选择对应的模型进行应用。表格存储 数据...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
归档直读
归档直读是指在对象存储OSS中，直接访问归档存储类型的文件，而无需先对其解冻。归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作，请参见 创建存储空间。RAM...
- 产品推荐
- 这些文档可能帮助您