Kafka实时入湖建仓分析
编码 存储数据的编码类型，当前仅⽀持⽬标存储数据编码为UTF8。参数配置完成后，单击 创建。湖仓创建成功后，湖仓列表 页签中将展示创建成功的湖仓任务。创建入湖负载。在 Lakehouse湖仓一体化 页面的 湖仓列表 中，单击 操作 列的 创建入...
冷热数据分层存储
如果您不想更改存量数据的TTL分层存储策略，可以在更改TTL分层存储策略之前，执行 set materialize_ttl_after_modify=0;语句。执行成功后，再更改TTL分层存储策略。存量数据按照原有策略进行存储，不发生改变。只有新增数据按照新策略进行...
基本概念
Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在数据库的变化表中，通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog：实时数据同步模式，通过同步并解析记录所有...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
方案背景
通过持久化存储和分析车辆元数据信息，用户可以实现复杂的业务需求，例如统计某一个区域内的车辆数量用于判断道路拥挤程度，通过监测车速、发动机转速等最新数据的实时变化用于判断车辆行为或者状态是否出现了异常等。因此车联网场景下车辆...
调试实时任务
手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据...
调试实时任务
手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据...
概述
本文介绍如何选择和优化阿里云存储服务，帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
创建时序表
当使用表格存储时序模型时，您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...
查看存储包使用情况
PolarDB 的存储空间可根据数据量自动伸缩无需您手动配置，您只需为实际使用的数据量付费。当您的数据量较大时，推荐使用 PolarDB 存储包以降低存储成本。本文将介绍查看存储包使用情况的操作步骤。注意事项 仅支持查看当前有效资源包及失效...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
ECU详解
大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储架构，热点数据存储在SSD磁盘中，冷数据存储在HDD磁盘中。适用于并发稍低、性能要求不高（可接受数据查询响应时间受超过10秒以上）的业务场景。ECU规格 系列 型号 内存 磁盘类型...
通过控制台使用分析存储
同步方式 分析存储同步时序表中数据的方式。取值范围如下：全量同步：同步时序表中的存量数据和增量数据。增量同步：同步分析存储创建后时序表中增量变化的数据。重要 同步方式设置后不支持修改，请谨慎选择。单击 确定。步骤三：使用SQL...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
【新功能/规格】RDS通用云盘支持数据归档OSS功能
用户可以通过控制台一键将数据库转为冷存储，数据文件将从云盘存储迁移到OSS存储，从而大幅降低存储成本。当有读写操作需求时，同样可以通过控制台一键将数据库从冷存储转为在线状态。这一整个过程操作便捷，且不会造成任何损失。说明 更多...
实例选型和集群规划
云原生数据仓库AnalyticDB PostgreSQL版 经过多次产品迭代升级，当前主流实例资源类型为存储弹性模式和Serverless模式。在购买实例时，根据本文选择合适的规格和存储空间，可以获得更好的业务体验。为了减少实例配置选型的复杂度，存储弹性...
表数据格式
数据的 近实时增量导入 可通过bucket数量水平扩展来支持高并发，因此需根据数据写入的流量以及表数据总存储大小来评估设置合理的bucket数量。Bucket数量过多，容易产生过多的小文件，影响数据读写效率和存储的稳定性，Bucket数量过少，则不...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
X-Engine最佳实践
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了5种不同的导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了以下导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都支持CSV...
某网约车公司车辆轨迹数据
云原生多模数据库 Lindorm 支持OSS做为冷存储，这样业务上把一个月之前的数据（冷数据）全部通过Lindorm自动存储到OSS里面，最近一个月内的数据存储到高效云盘，这样在零代码开发、零运维、客户无感知情况下进行了冷热分层存储，大大节约了...
常见问题
A：PolarDB 的代理（Proxy）和数据库节点（Node）均需要升级到最新的配置，采用多个节点滚动升级的方式尽量减少对业务的影响。目前每次升级大概需要10~15分钟，对业务的影响时间不超过30秒，期间可能会产生1~3次连接闪断，详情请参见 手动...
查询用户OSS或专属存储的归档数据
本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS 或 数据归档至专属存储 的用户，包含老用户和新用户。说明 老用户：数据归档查询功能未上线（上线时间：2022年09月14日）前，使用过...
方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
Transaction Table2.0概述
表数据格式：新类型表，Transactional Table2.0，高效支持增/全量数据的存储和读写。如果设置Primary Key，则可支持Upsert格式记录写入。近实时增量导入：支持分钟级Upsert/Delete格式数据增量导入。增量查询：支持SQL语法，用于增量处理...
某新能源汽车造车新势力
业务背景 在碳中和、碳达峰这样的大背景下，国家大力支持新能源汽车的推广使用，但同时监管部门也提出了相应的要求，需要实时存储车辆状态数据，进行故障告警及数据的实时查看。为了能及时响应车辆告警信息，排查车辆故障，需要实时能下载...
收钱吧订单查询&搜索
客户简介 收钱吧，隶属于 上海收钱吧互联网科技股份有限公司，是中国移动支付服务商领军者，致力于用网络和数据的力量服务线下实体商家。收钱吧不仅为商家提供专业移动支付收款工具，同时也是为商家提供金融、广告、营销管理、供应链等多种...
RestAPI Reader最佳实践
提交发布成功后，您可以在DataWorks的运维中心中找到这个周期任务，此时可通过补数据的方式，将历史时间段内的数据补上。补数据的功能介绍和操作指导请参见 执行补数据并查看补数据实例。实践2：读取一个接口数据，该接口为一个分页的Rest...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
通过Spark导入数据
功能介绍 Spark SelectDB Connector是云数据库 SelectDB 版导入大批量数据的方式之一。基于Spark的分布式计算能力，您可以将上游数据源（MySQL、PostgreSQL、HDFS、S3等）中的大量数据读取到DataFrame中，然后通过Spark SelectDB Connector...
ActionTrail日志清洗
参数名称 参数描述 ActionTrail文件根目录 ActionTrail投递到OSS中日志数据的存储目录。目录以 AliyunLogs/Actiontrail/结尾。选择位置：自定义ActionTrail投递到OSS中的日志数据的存储目录。自动发现：DLA自动设置ActionTrail投递到OSS中...
X-Engine简介
读操作 LSM处理多版本数据的方式是新版本数据记录会追加在老版本数据后面，从物理上看，一条记录不同的版本可能存放在不同的层，在查询的时候需要找到合适的版本（根据事务隔离级别定义的可见性规则），一般查询都是查找最新的数据，总是由...
聚合支付方案
客户价值 业务可线性拓展 依托Redis缓存和DRDS水平或者垂直拆分数据库技术，解决了高并发、存储容量扩展以及在线计算扩展的难题，使系统具备了存储100TB数据的能力，同时也具备10万TPS（Transactions-per-second）、百万QPS（Queries-per-...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
应用场景
此外，您还可以选择数据湖构建DLF作为数据目录服务，DLF可以提供统一的元数据服务，并支持湖上数据的管理，通过DLF可以简化和加速湖上数据的治理过程。在数据湖场景下，通过采集程序，将用户的埋点日志近实时写入到OSS-HDFS，并使用Sqoop...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
DBS沙箱功能概览
重复数据删除技术：大幅降低用户备份数据的存储成本。存储快照和克隆技术：无数据拷贝，让备份数据快速可用。存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。典型应用场景 基于...
- 产品推荐
- 这些文档可能帮助您