PolarDB-X 1.0迁移至阿里云消息队列Kafka
投递到Kafka的数据格式 根据需求选择迁移到Kafka实例中的数据存储格式。如果您选择 DTS Avro，根据DTS Avro的schema定义进行数据解析，schema定义详情请参见 DTS Avro的schema定义。如果您选择 Canal Json，Canal Json的参数说明和示例请...
设置生命周期策略
重要 删除策略并不会清除低频存储或归档存储中的数据。为避免残余低频数据或归档数据产生资费，请在删除策略前对数据进行取回操作。具体操作，请参见 创建数据取回任务。常见问题 如何设置生命周期管理策略？所有文件都可以转储到低频存储...
创建云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB...
AnalyticDB MySQL 将根据您选择的RDS实例中的数据存储量，自动进行存储空间计算，只在 集群名称 中显示符合条件的 AnalyticDB MySQL 集群。您也可以单击 立即购买 新建 AnalyticDB MySQL 集群，将RDS MySQL数据同步到新集群中，请参见 创建...
功能发布记录
使用SQL查询分析时序分析存储中的数据。2023-12-20 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）时序分析存储概述 时序模型限制 时序模型计量计费 使用分析存储 使用SQL查询数据 Instance Policy 如果要针对实例进行访问...
新功能发布记录
专属存储中的数据转存至阿里云对象存储OSS 退订服务 新增 DMS 支持手动退订 数据管理-新版 包年包月的服务，您可通过DMS的订单释放入口，或直接在用户中心进行退订。退款说明 07月 功能名称 变更类型 功能描述 相关文档 设置审批流程 新增 ...
PolarDB MySQL版迁移至Kafka
投递到Kafka的数据格式 根据需求选择同步到Kafka实例中的数据存储格式。如果您选择 DTS Avro，根据DTS Avro的schema定义进行数据解析，schema定义详情请参见 DTS Avro的schema定义。如果您选择 Canal Json，Canal Json的参数说明和示例请...
自建MySQL应急恢复
费用说明 应急恢复功能涉及以下两部分费用：计费项 费用详情 沙箱存储费用 沙箱功能开启 后，系统会自动同步待恢复的数据至沙箱存储中并生成沙箱实例快照，DBS会根据沙箱存储中的数据量产生沙箱存储费用。计费详情，请参见 DBS沙箱费用。新...
应急恢复
费用说明 应急恢复费用由沙箱存储费用和沙箱实例费用两部分组成：计费项 费用详情 沙箱存储费用 开启沙箱功能后，系统会自动同步待恢复的数据至沙箱存储中并生成沙箱实例快照，DBS会根据沙箱存储中的数据量产生沙箱存储费用，详情请参见 ...
自建MySQL云灾备
费用说明 本方案涉及以下两部分费用：计费项 费用详情 沙箱存储费用 沙箱功能开启 后，系统会自动同步待恢复的数据至沙箱存储中并生成沙箱实例快照，DBS会根据沙箱存储中的数据量产生沙箱存储费用。计费详情，请参见 沙箱存储费用。新RDS...
应急恢复
费用说明 应急恢复费用由沙箱存储费用和沙箱实例费用两部分组成：计费项 费用详情 沙箱存储费用 开启沙箱功能后，系统会自动同步待恢复的数据至沙箱存储中并生成沙箱实例快照，DBS会根据沙箱存储中的数据量产生沙箱存储费用，详情请参见 ...
数据展示
表格存储对接Grafana后，您可以通过Grafana可视化展示表格存储中的数据。前提条件 首次使用表格存储时，请开通表格存储服务以及创建实例和数据表等。具体操作，请参见 通过控制台使用 或者 通过命令行工具使用。已为表格存储的数据表或者...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
冷数据存储计费规则（可选）
本文介绍了开启冷数据归档功能后，在冷数据存储方面的计费规则。当 开启冷数据归档 后，PolarDB 企业版支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据归档的详细介绍，请参见 冷数据归档概述。...
产品架构
冷热分层存储 数据存储支持自动冷热分层，同时 表格存储 支持高性能实例和容量型实例两种实例规格来满足不同业务的数据存储需求。实例规格 描述 高性能实例 适用于对读写性能和并发都要求非常高的场景，例如游戏、金融风控、社交应用、推荐...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
概述
技术原理 归档为 CSV 或 ORC 格式的技术原理图如下：集群中的热数据存储在共享存储（PolarStore）中，各个 PolarDB 节点通过分布式文件系统（PolarFileSystem）访问PolarStore中的数据。为降低数据存储成本，达到冷热数据分离管理的目的，...
冷存储介绍
冷热分离功能可以自动将表中的热数据存储至读写速度更快的热存储中，将不常访问的历史数据存储至容量型云存储中，从而降低存储成本。如果您在业务上有冷热分离的需求，请参见 冷热分离介绍。开通容量型云存储 如何开通容量型云存储，请参见...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
时序模型
写入时序数据到时序表时，分析存储会自动同步时序表中的数据。时序数据写入时序表后，当需要查询时序表中某个时间线的时序数据时，您可以执行如下操作：如果不确定要查询时间线信息（例如度量名称、数据源信息）时，请使用 ...
时序模型
写入时序数据到时序表时，分析存储会自动同步时序表中的数据。时序数据写入时序表后，当需要查询时序表中某个时间线的时序数据时，您可以执行如下操作：如果不确定要查询时间线信息（例如度量名称、数据源信息）时，请使用 ...
功能特性
原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的数据）都...
数据存储目录结构说明
本章介绍文件引擎(LindormDFS)默认的数据存储目录结构。目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
存储说明
例如：读取HDFS中的数据。sc.textfile("hdfs:/bucket/path")更改存储类型为OSS。sc.textfile("oss:/bucket/path")对于MR或Hive作业，HDFS命令可以直接操作OSS数据，示例如下。hadoop fs-ls oss:/bucket/path hadoop fs-cp hdfs:/bucket/...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
ActionTrail日志清洗
对于30天以外的数据可以投递到OSS上，但直接分析OSS中的数据有以下痛点。日志数据格式复杂，不利于直接分析 ActionTrail中保存的是JSON格式的数据，一行内有多条数据，数据以一个Array的形式保存，例如[{"eventId":"event0".},{"eventId":...
数据导出到OSS概述
同步方式 所用插件 插件说明 全量导出 Tablestore（OTS）Reader 用于读取表格存储表中的数据，并可以通过指定抽取数据范围实现数据增量抽取的需求。更多信息，请参见 Tablestore数据源。增量同步 OTSStream Reader 用于增量导出表格存储表...
概述
阿里云提供了涵盖各种存储资源（块、文件和对象）的广泛而灵活的数据存储方案，可以让您随时在不同的存储类型之间转换。本文讨论了如何选择最适合您的阿里云存储服务，以最低成本满足您的数据存储需求，同时还讨论了如何优化这些服务，从而...
迁移工具
插件 说明 OTSReader 用于读取表格存储表中的数据，并可以通过指定抽取数据范围实现数据增量抽取的需求。OTSStreamReader 用于增量导出表格存储表中的数据。OTSWriter 用于向表格存储中写入数据。通道服务 使用通道服务可以轻松构建高效和...
通过实时计算订阅数据
创建流计算开发作业，将DataHub中的数据实时同步到RDS的目标表中。进入 阿里云流计算开发平台，单击 开发>作业开发>新建作业，创建一个名称为test的开发作业。单击左侧菜单栏的 数据存储，右键单击 DataHub 数据存储，选择 注册数据存储，...
时序模型介绍
检索到时间线后，可以通过调用接口进一步查询该时间线中的数据。SQL查询分析 时序表支持通过SQL进行查询，SQL中支持通过指定时间线的元数据条件筛选时间线以及通过统计聚合操作按照不同维度对数据进行聚合操作，例如查询某一批设备采样数据...
应用场景
表格存储 作为关系数据库的存储补充用于存储历史订单数据并通过DTS实时同步关系数据库中的数据，同时支持使用索引实现多字段组合查询以及支持对接流批计算引擎实现数据统计分析。IM场景 IM（Instant Messaging，即时通讯）已成为当前互联网...
快速体验
使用DataWorks的 数据开发 功能，将同步到MaxCompute中的数据进行清洗加工，并将结果数据写入MaxCompute表中。说明 RDS MySQL作为本次实验中存储原始数据的数据源。您无需自行准备RDS MySQL云产品及数据，本实验为您提供公共的实验环境与...
对象存储OSS
性能 如果您的云服务器ECS和对象存储OSS在同一个地域，那么通过云服务器ECS访问对象存储OSS中的数据理论上是最快的。OSS的设计也使其服务端延迟相对于网络延迟来讲可以忽略不计。此外，OSS对于存储量、请求数和用户数的扩展特性，使其可以...
入湖基础操作
数据湖存储位置：数据存储的OSS路径，入湖任务会自动创建此处填写的空文件夹来存储数据。分区信息：添加需要写入的分区信息。分区表达式：填写描述分区值的获取方式，比如 MySQL 中from_unixtime(gmt_create)。分区字段：填写分区字段名称...
常见问题
如果更新的是自定义时间列中的数据，则需要根据新写入的时间内容来重新划分冷热数据。假设一个表的主键列为p1，p2，非主键列为c1，c2，某一行为p1=row1，p2=2023.1.28日，c1=”c1“，c2=”c2“，冷热分界线CHS=1天，当前时间为2023.1.30日...
物联网设备数据上云存储
物联网平台规则引擎 物联网设备基于消息 Topic 进行通信，使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的资源中实现“采集+计算+存储+…”的全栈服务。如何...
生命周期管理FAQ
如果需要频繁访问低频存储中的数据时，建议您创建数据取回任务，将指定文件或目录中的数据取回至通用型NAS存储空间。执行数据取回任务将读取目标数据，并产生读流量费用。更多信息，请参见 创建数据取回任务。如何创建低频存储文件的数据...
- 产品推荐
- 这些文档可能帮助您