东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
数据服务集群
图片、视频、网页等中对象，物联网的时序数据和车联网的空间数据等需要支持海量数据和较高写入性的数据存储场景。DataServing基于读写延迟低，并发高等特点，支持Feed流场景。技术架构 EMR HBase目前支持两种架构，一种是传统的基于HDFS存...
表数据格式
为了支持增全量存储和处理一体化架构，Transaction Table2.0（简称TT2）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍...
配置冷存储
执行 RELOAD 操作，避免影响冷存储数据转移耗时。search-cli reload_collection-c collection_name 执行以下语句设置目标表的冷存储属性。search-cli modify_collection-c collection_name-s COLD 执行以下语句将目标表的数据迁移至冷存储...
存储说明
部分缓存或临时测试场景，或者基于3副本存储TB级数据时会使用本地盘，但是该方案会因为磁盘寿命增加额外的运维成本，因此存储数据建议您使用OSS或者 开通并授权访问OSS-HDFS服务。您可以参见 在EMR Hive或Spark中访问OSS-HDFS，了解Hive或...
CREATE STREAM
数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT EXISTS)table_name('(' tableElement(',' tableElement)*')')(WITH tableProperties)tableElement:columnDefinition;...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
产品架构
集群 云数据库SelectDB版 集群，支持存算分离架构，多计算集群共享存储数据。云数据库SelectDB版 集群包括计算资源（vCPU、内存）和缓存资源（Cache），以集群粒度进行算力隔离，满足各个业务的不同性能规模和使用时长需求。云数据库...
ECU详解
大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储架构，热点数据存储在SSD磁盘中，冷数据存储在HDD磁盘中。适用于并发稍低、性能要求不高（可接受数据查询响应时间受超过10秒以上）的业务场景。ECU规格 系列 型号 内存 磁盘类型...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
常见问题
同时，结合IMM（智能媒体处理产品）可以实现存储+数据智能处理的解决方案。基因行业：基因测序、交付、诊断等基因上下游业务的数据存储需求，结合云上强大的计算能力，可以实现大数据的存储+计算+分析方案。OSS适合存储什么？OSS适合存储...
数据导出到OSS概述
使用场景 适用于以更低成本备份 表格存储 数据或者以文件形式导出 表格存储 数据到本地的场景。使用流程 不同同步方式的使用流程存在差异，请根据所用同步方案按照相应流程执行同步操作。具体操作，请参见 导出全量数据到OSS 和 同步增量...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确保已安装支持数据湖投递功能的表格存储Java SDK。关于表格存储Java SDK版本的更多信息，请参见 Java SDK历史迭代版本。前提条件 已开通OSS服务且在表格...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
数据湖存储与管理 对象存储OSS 数据湖构建DLF 将在线数据库中的源数据引入数据湖时，OSS会作为数据湖的统一存储，存储机制包含Delta Lake和Hudi两种。同时，DLF采用元数据管理功能管理元数据库和元数据表。数据湖探索与分析 MaxCompute ...
通过实时计算订阅数据
依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，在开发作业中引用目标表。通过 INSERT INTO 语句，将实时计算后的源表数据插入目标表中。说明 如果数据格式不匹配，需要进行相应的 ...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 性能型 通用型NAS的...
使用Simple存储策略
背景信息 时空数据具有个体大、总量大的特点，Ganos中的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表中，而当前数据库提供的存储策略只支持固定简单的压缩算法，或者不压缩直接存储至外表，将导致时空数据...
使用Simple存储策略
背景信息 时空数据具有个体大、总量大的特点，Ganos中的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表中，而当前数据库提供的存储策略只支持固定简单的压缩算法，或者不压缩直接存储至外表，将导致时空数据...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
备份存储费用说明
开启存储压缩功能后，集群的一级备份存储的 免费备份空间额度 的规则如下：如果集群的存储付费类型为按容量计费（按量付费），则在开启存储压缩功能后，一级备份存储的 免费备份空间额度 为压缩前数据库存储用量×50%。如果集群的存储付费...
将MaxCompute数据同步到表格存储
步骤一：新增表格存储数据源 将表格存储添加为数据源，具体步骤如下：进入数据集成页面。以项目管理员身份登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表 后，选择地域。在 工作空间列表 页面，在目标工作空间 操作 列选择 快速...
功能概览
修改SQL洞察和审计数据存储时长 警告 减少SQL洞察和审计数据存储时长后，DAS会立刻将超过存储时长的SQL审计日志清空。建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。登录 DAS控制台。在左侧导航栏中，单击 ...
存储引擎
外表OSS存储：数据可远端低成本存储于OSS上，查询和写入行为与本地表完全一致。数据分区：支持数据多级分区，且可按Value或范围进行分区，常用场景为按时间进行分区，可明显降低IO数据量，同时分区支持混合存储，历史数据和活跃数据可分层...
物联网设备数据上云存储
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
数仓版（3.0）计费项
计费场景：集群使用过程中，存储数据占用的存储空间会按使用量收费。包年包月集群和按量付费集群都可以购买存储空间。包年包月集群的存储空间单价和按量付费集群的存储空间单价不同。计费公式：存储空间费用=热数据存储费用+冷数据存储费用...
计量计费项
如果实际业务中使用了多元索引、二级索引、SQL查询、时序模型、多版本、生命周期管理、通道服务、数据迁移同步等核心功能，则会产生相应的读写数据、数据存储费用。本文介绍了表格存储 按量模式 的计费价格、计费组成、计费项、核心功能...
引擎功能
高效时序存储技术 时序数据压缩 Lindorm时序引擎使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。冷数据归档能力 Lindorm时序引擎支持将长期存储的冷数据归档到...
ODS层设计规范
数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久保存。日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否...
JindoFS介绍和使用
JindoFS块存储模式（Block）JindoFS存储模式（Block），不仅提供缓存加速能力，还可以组织、存储数据和管理文件元数据，类似Apache Hadoop HDFS。在此模式下JindoFS是个独立的存储系统，只是文件块数据存储在OSS上。Cache模式和Block模式...
写入时序数据
表格存储 提供了PutTimeseriesData...如果要低成本存储数据以及快速查询与分析数据，您可以为时序表创建分析存储。更多信息，请参见 时序分析存储概述。如果要可视化展示时序数据，您可以通过对接Grafana实现。更多信息，请参见 对接Grafana。
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
OSS/OSS-HDFS概述
使用OSS或OSS-HDFS存储数据可以有效节省成本，结合低频、归档和冷归档等方式，可以进一步优化冷数据的存储成本。可扩展性。OSS和OSS-HDFS具有更好的可扩展性，不受硬盘容量限制，无需人工扩容。特性 通过JindoSDK使用OSS和OSS-HDFS的特性...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
功能介绍
云原生数据仓库AnalyticDB PostgreSQL版 支持周期性的基础备份与日志备份，可以有效防止数据丢失。功能原理 云原生数据仓库AnalyticDB ...操作视频 相关文档 存储弹性模式 数据备份 数据恢复 Serverless模式 备份恢复（Serverless版本）
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
Serverless存储层
云原生数据仓库AnalyticDB MySQL版 采用计算存储分离的架构，通过云原生技术实现了池化，提供了Serverless存储的能力。Serverless架构下的存储资源支持独立弹性伸缩，同时提供了按需横向弹性（扩展存储节点数）和按需纵向弹性（升配存储...
- 产品推荐
- 这些文档可能帮助您