低成本RDS历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接Spark、Hive、Flink、Presto等开源分析生态满足用户对数据的复杂分析...
应用场景：低成本历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.11元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析...
数据对齐
使用示例：参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 时间变量 时间变量的数据类型必须是datetime或时间字符串。算法支持的输入时间格式为：yyyy-mm-dd hh:mm:ss 或 mm-dd-yyyy hh:mm:ss yyyy/mm/dd hh:...
什么是对象存储OSS
对象 对象是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，对象没有文件目录层级结构的关系。对象由元数据（Object Meta）、用户数据（Data）和文件名（Key）组成，并且由存储空间内部唯一的Key来标识。对象元数据是一...
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
数据存储目录结构说明
本章介绍文件引擎...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
常见问题
OSS的可用性SLA的定义不同于实例型产品，其服务可用性将根据服务周期内每5分钟错误率之和除以服务周期内5分钟的总个数计算出每5分钟错误率的平均值，按照如下方式计算：每5分钟错误率=每5分钟失败请求数/每5分钟有效总请求数x100%服务可用...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...
MySQL物理备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。对象存储OSS Bucket名称 请选择您的对象存储OSS Bucket名称。说明 该参数仅在 备份目标存储类型 参数为 用户OSS 时显示...
产品架构
在3.0版本更新前，StarRocks采用存算一体架构，其中BE节点负担着数据的存储和计算任务，所有数据访问和分析操作都直接在本地节点完成，以确保快速响应的查询性能。自3.0版本起，StarRocks开始采纳存算分离架构，转变了数据存储的方式。原有...
DLA Lakehouse实时入湖
编码 存储数据的编码类型，当前仅⽀持⽬标存储数据编码为UTF8。参数配置完成后，单击 创建。湖仓创建成功后，湖仓列表 页签中将展示创建成功的湖仓任务。创建入湖负载。在 Lakehouse湖仓一体化 页面的 湖仓列表 中，单击 操作 列的 创建入...
PolarDB MySQL版逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
X-Engine最佳实践
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
SQL Server逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
通过缓存优化性能
Spark缓存可以存储任何子查询数据的结果以及以Parquet以外的格式（例如CSV，JSON和ORC）存储的数据。性能：Delta缓存中存储的数据比Spark缓存中的数据读取和操作速度更快。这是因为Delta缓存使用高效的解压算法，并以最佳格式输出数据，...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
归档存储服务等级协议
用户可以调用归档存储提供的API或者SDK通过网络进行数据的上传和下载，并可通过Web控制台进行有限功能的管理。归档存储的存储容量支持弹性扩容，并提供基于云计算模式的按使用量付费的结算功能。2.服务等级指标 2.1.数据持久性 数据持久性...
审计配置
该Logstore默认存储数据的时间为90天，且该Logstore产生的费用已包含在您已购买的DSC实例中。开启原生日志采集 登录 数据安全中心控制台。在左侧导航栏，选择 安全审计>审计配置。在 审计配置 页面，单击 审计模式 页签。在左侧资产类型...
MongoDB逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
表数据格式
其中：DeltaFile：每次事务Commit写入（Update/Delete）的数据文件类型，会保存每行数据的中间历史状态，用于满足近实时增量读写需求。Clustering 合并操作也会生成DeltaFile，按照列式压缩存储。BaseFile：DeltaFile经过 COMPACTION 合并...
平铺明细
主键 为每行数据的唯一标识。使用示例 如果不配合 表单容器 组件使用 平铺明细，_dataList 是List类型的变量，p2 为Structure中的某个Key。如果配合 表单容器 组件使用 平铺明细，配置具体步骤如下：为 表单容器 组件绑定变量，需配置为...
术语
硬件压缩盘（Smart-SSD）硬件压缩盘使用阿里巴巴自研的Aliflash Smart-SSD技术，在物理SSD磁盘层面压缩、解压缩存储的数据，保持性能影响可控的情况下，使单位容量数据的存储价格更低。硬件压缩盘的压缩引擎集成在盘片内部，通过FPGA/ASIC...
从游标提取行
是将从提取的行接收字段数据的 SPL 变量。record 或 variable,variable_2.中字段的数字和顺序必须与 SELECT 列表（属于游标声明中给出的查询）中返回的字段相匹配。对于 SELECT 列表中的字段，其数据类型必须与 record 中字段的数据类型或 ...
实例选型和集群规划
列存储支持较高的数据压缩率，可以达到2~5倍的压缩比，即对于1 TB原始数据，入库后若采用了列存储压缩设置，数据在0.5 TB以内，那么可以按1 TB的用户数据存储空间来规划集群实例规格。云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可...
产品架构
按照传统方案，为了满足多种类型数据的存储、查询和分析需求，在设计IT架构时，需要针对不同种类的数据，采用不同的存储分析技术，如下图：这种技术方案，是一种典型的技术碎片化的处理方案。针对不同的数据，使用不同的数据库来处理。有...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
术语
硬件压缩盘（Smart-SSD）硬件压缩盘使用阿里巴巴自研的Aliflash Smart-SSD技术，在物理SSD磁盘层面压缩、解压缩存储的数据，保持性能影响可控的情况下，使单位容量数据的存储价格更低。硬件压缩盘的压缩引擎集成在盘片内部，通过FPGA/ASIC...
RDS MySQL或自建MySQL逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
ALTER ROLE
其余的变体用于更改一个角色的配置变量的会话默认值，可以为所有数据库设置，或者只为 IN DATABASE 中指定的数据库设置。如果指定的是 ALL 而不是一个角色名，将会为所有角色更改该设置。把 ALL 和 IN DATABASE 一起使用实际上和使用命令 ...
ActionTrail日志清洗
参数名称 参数描述 ActionTrail文件根目录 ActionTrail投递到OSS中日志数据的存储目录。目录以 AliyunLogs/Actiontrail/结尾。选择位置：自定义ActionTrail投递到OSS中的日志数据的存储目录。自动发现：DLA自动设置ActionTrail投递到OSS中...
基本概念
冷存储 一种存储介质，可以存储数据库中的冷数据，从而降低存储成本。更多信息，请参见 冷存储介绍。冷热分离 Lindorm宽表引擎实现了数据的冷热分离能力，系统会自动根据用户设置的冷热分界线自动将表中的冷、热数据分类归档到冷、热存储中...
基于Delta lake的一站式数据湖构建与分析实战
数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储如 OSS等对象存储中，并对外提供统一的数据目录，支持多种计算分析方式，有效解决了企业中面临的数据孤岛问题，同时大大降低了企业存储和使用数据的成本。...
收钱吧订单查询&搜索
客户简介 收钱吧，隶属于 上海收钱吧互联网科技股份有限公司，是中国移动支付服务商领军者，致力于用网络和数据的力量服务线下实体商家。收钱吧不仅为商家提供专业移动支付收款工具，同时也是为商家提供金融、广告、营销管理、供应链等多种...
全局变量管理
背景信息 全局变量可以理解为参数变量，用于管理作用域为全局的数据库变量，以及全局控制数据库的行为。在 ODC 全局变量页面可以查询和修改连接到当前数据源下所有数据库变量信息。查询全局变量 示例：在 SQL 开发窗口中，查询数据源 mysql...
数据归档
通过数据归档功能，可以将对象存储（OSS）用作归档冷数据的存储介质，从而显著降低存储成本。功能简介 RDS PostgreSQL实例利用表空间和外部文件系统来实现对OSS的访问，允许用户通过DDL完成数据在ESSD和OSS之间的转换。启用数据归档功能的...
官方组件
2.配置下发数据：在组件值的“按下值”中输入按下按钮的下发数据、在“抬起值”中输入取消长按弹手指抬起后的下发数据，通道是指和按钮下发的数据点位关联的变量，可以选择已创建的变量，也可直接在左侧面板点击变量，创建新的变量。...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
专业术语
为了降低访问永久存储文件的频率，TSDB For InfluxDB®在WAL中缓存最近写入的数据点，直到数据总量达到阈值或者数据写入的时间超过一定的期限，这时候TSDB For InfluxDB®会将WAL中的这些数据flush到可以保存更长时间数据的存储空间。...
- 产品推荐
- 这些文档可能帮助您