配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标MaxCompute表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认处理策略，您也...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标Hologres表...
产品概述
时间序列数据库(Time Series Database,简称 TSDB)是一种高性能、低成本、稳定可靠的在线时间序列数据库服务，提供高效读写、高压缩比存储、时序数据插值及聚合计算等服务，广泛应用于物联网（IoT）设备监控系统、企业能源管理系统（EMS）、...
配置并管理实时同步任务
选择表建立方式 您可以在 表建立方式 列选择在同步任务执行时自动根据映射关系在目标端创建表，或选择将数据写入已有表。配置表分类 在 表类型 列，确认及修改目标表类型，关于分区表和维度表的相关介绍请参见：基本概念。选择分布字段列 ...
写入时序数据
表格存储 提供了PutTimeseriesData...如果要低成本存储数据以及快速查询与分析数据，您可以为时序表创建分析存储。更多信息，请参见 时序分析存储概述。如果要可视化展示时序数据，您可以通过对接Grafana实现。更多信息，请参见 对接Grafana。
基本概念
维度表 维度表，又称复制表，集群的每个节点都会存储一份维度表的全量数据。因此，复制表中的数据量不宜过大，最好不超过2万行。由于维度表的变更会广播到集群的所有节点，确保所有节点的数据一致性，影响写入性能，因此不建议频繁增删改...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
产品优势
多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型数据的一体化存储。宽表模型：经典模型，目前绝大部分半结构化、结构化数据均使用宽表模型进行存储。...
通过控制台使用分析存储
在 表格存储 控制台创建时序模型实例后，您可以在实例下创建分析存储并使用SQL查询时序数据。注意事项 时序分析存储功能将从2023年12月20日正式开始收费。目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京...
将MaxCompute数据同步到表格存储
背景信息 表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
操作汇总
本文介绍 表格存储 的调用说明以及提供的宽表模型和时序模型相关API接口。如需了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与实战。调用说明 表格存储 API只能通过 表格存储 提供的各语言SDK进行调用，不能直接使用HTTP...
数据导出到OSS概述
使用场景 适用于以更低成本备份 表格存储 数据或者以文件形式导出 表格存储 数据到本地的场景。使用流程 不同同步方式的使用流程存在差异，请根据所用同步方案按照相应流程执行同步操作。具体操作，请参见 导出全量数据到OSS 和 同步增量...
新建离线物理表
存储类型 支持 内部表 和 外部表 存储类型。内部表：由自身管理的表，存储在计算引擎中。外部表：外部存储系统的表，如HDFS。创建外部表需填写外部存储地址location。最多512字。说明 外部表默认的存储设置为 stored as textfile,如需修改,...
新建离线物理表
存储类型 支持 内部表 和 外部表 存储类型。内部表：由自身管理的表，存储在计算引擎中。外部表：外部存储系统的表，如HDFS。创建外部表需填写外部存储地址location。最多512字。说明 外部表默认的存储设置为 stored as textfile,如需修改,...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
Catalog概述
存储系统：用于存储数据。数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
归档为IBD格式
当表中的数据为冷数据且对延时不敏感，或访问集中可被缓存且尾访问延迟不敏感时，您可以通过该语法将PolarStore块存储表转换为OSS对象存储表：ALTER TABLE table_name STORAGE_TYPE OSS;将数据切回PolarStore块存储模式。ALTER TABLE table...
数据归档至RDS MySQL
但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库空间充足，避免空间容量不足引发实例不可用问题。清理备份临时表：您可以在确认数据归档完成且数据无误后，通过新建 普通数据变更 工单，清理源库中的备份临时表。...
物联网设备数据上云存储
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
配置同步任务
文件存储数据源 HDFS NoSQL数据存储 MongoDB、ElasticSearch 配置同步任务 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 同步任务 页面。在 同步任务 页面，单击已创建的同步任务，配置参数。...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
SDK数据接入
通过SDK创建时序表后，您可以将时序数据写入表格存储。本文介绍如何通过表格存储SDK创建时序表以及将时序数据写入时序表。背景信息 表格存储的时序模型针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据...
功能介绍
TSDB for Prometheus是阿里云时间序列数据库TSDB为Prometheus提供的一种高性能，低成本，稳定可靠的在线远端存储服务，提供高效读写，高压缩比存储。TSDB for Prometheus可无缝被Prometheus集成，在协议上原生支持Prometheus远端存储对接至...
创建时序表
当使用表格存储时序模型时，您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...
InfluxDB®️介绍
主要特点 InfluxDB®是您处理时序数据的一个绝佳选择，目前有以下特点：专为时间序列数据量身打造的高性能数据存储。TSM引擎提供数据高速读写和压缩等功能。简单高效的HTTP API写入和查询接口。针对时序数据，量身打造类似SQL的查询语言，...
迁移时源库为MySQL的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
查看集群日报与分析
Hive使用量分析 在Hive使用分析中，您可以获取以下图表：Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布比例 Hive表热冷数据分布 Hive表存储格式分布 Hive详细信息 在Hive信息中会展示Hive库和Hive表的详细信息。...
DLA Lakehouse实时入湖
编码 存储数据的编码类型，当前仅⽀持⽬标存储数据编码为UTF8。参数配置完成后，单击 创建。湖仓创建成功后，湖仓列表 页签中将展示创建成功的湖仓任务。创建入湖负载。在 Lakehouse湖仓一体化 页面的 湖仓列表 中，单击 操作 列的 创建入...
迁移时源库为SQL Server的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
数据归档至AnalyticDB PostgreSQL版
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB PostgreSQL版 查询归档数据 具体的查询操作，请参见 查询...
库表结构优化
冷热数据优化 分析数据表的使用情况，对长期未使用的数据表，建议将其迁移至冷盘存储，以减低数据表存储成本。此类型的优化建议针对数据表级别。迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该...
MaxCompute表数据
查看表详情 在查找到的表结果列表中，单击目标表名称，即可进入表详情页面查看表详细信息：功能 说明 相关文档 快捷操作 您可以在页面上方对表进行 申请权限、将表加入 数据专辑/查看专辑、收藏表、在 数据服务 页面 生成API、在 SQL查询 ...
功能概述
表格存储 面向海量结构化数据提供Serverless表存储服务，适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...
归档为CSV或ORC格式
归档普通表 冷数据归档执行的是表归档操作，执行冷数据归档操作后的表称为归档表（只读），归档表的引擎为OSS引擎，归档表的数据文件存储在OSS上。执行冷数据归档操作后，原来本地表在PolarStore上占用的空间将被释放。语法 归档为 CSV ...
数据安全
为了防止由于误删、恶意篡改等导致重要数据不可用，您可以使用 表格存储 数据备份功能备份实例中宽表数据，并在数据丢失或受损时及时恢复。更多信息，请参见 备份Tablestore数据、恢复Tablestore数据 和 为备份计划设置报警方式。用户密钥...
概述
系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析，不影响数据源端的线上业务运行。方案优势 T+1全量同步一键建仓...
- 产品推荐
- 这些文档可能帮助您