应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
扩展性原理
并发和存储容量扩展性 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过 水平拆分（分库分表）和 垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）您可以通过一定的计算或...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
云原生大数据计算服务 MaxCompute
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
环境准备
适用于海量账单、IM 消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。表格存储通道服务（Tunnel Service）是...
计费常见问题
删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费？欠费 如何查看是否欠费？开通 文件存储 HDFS 版 服务后，就开始计费吗？仅开通 文件存储 HDFS 版 服务，不会产生费用。当您在 文件...
存储费用
MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
概述
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。...您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降...TSDB 的数据存储默认采取三副本策略，充分保证数据的可用性。
功能特性
BSP支持计算数据落盘，适用于计算量大，吞吐高的复杂场景。XIHE BSP SQL开发 Spark引擎 Spark开发 完全兼容开源Spark，且AnalyticDB for MySQL Spark提供了更好的性能和更低的资源成本。Spark计算引擎 Spark运维 完全兼容开源Spark，...
引擎功能
数据存储默认采用多副本策略，充分保证数据的可用性。数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障...通过日志或者其他方式对原始指标数据进行采集和实时计算，最后将实时计算的结果数据存储到 TSDB，实现监控和分析的展现。
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
冷热数据分层存储
为了降低数据存储成本、提高查询性能和系统资源利用率。云数据库ClickHouse 提供了冷热数据分层存储的功能。您可以根据查询频率将数据存储在不同类型的磁盘中。本文介绍如何开启冷热数据分层存储功能和设置分层存储策略。前提条件 云数据库...
克隆集群
热数据存储空间说明 冷数据存储空间说明 热数据指访问频次较高的数据，采用ESSD云盘存储，IO性能好，能够满足高性能访问的需求。冷数据指访问频次较低的数据，存储在OSS上，性价比高。弹性IO资源 创建集群时，AnalyticDB MySQL版 将自动...
2023年
2023-03-30 全部地域 向量计算（Proxima CE）概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
JindoFS介绍和使用
Cache模式和Block模式对比 两种模式都把数据存储在OSS上，同时根据本地缓存空间剩余情况确定是否在本地也放置一份以用于缓存加速。两种模式的本质区别在于，块存储模式可以管理目录和文件元数据，文件是分成多个块存储在OSS上，所以写到OSS...
基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
MaxCompute账单用量明细分析
SELECT t.ds,t.projectid,t.storage,CASE WHEN t.storage*0.01-当项目的实际数据存储量大于0 MB小于等于512MB时，计费单价为0.01元/GB/天 WHEN t.storage>=0.5 THEN t.storage*0.004-当项目的实际数据存储量大于512MB时，计费单价为0.004元...
支持的连接器
数据规模通常较小，可以是静态表也可以是低吞吐的流表，数据量级可能在GB到TB级别。提供对业务数据的额外补充信息，如用户姓名、产品详情、区域信息等。通过与源表进行Join连接，可以丰富源表的信息，形成更加详细的宽表。结果表（Result ...
数据查询
Lindorm时序引擎提供标准的SQL查询能力、PromQL查询能力、TSDB兼容的查询能力。本文介绍时序数据查询的方法。...预降采样是一种降低数据精度的方法，预降采样后的数据和原始数据存储在同一张表中，查询时无需查询不同的数据表。
查看账单详情
当项目的实际数据存储量大于0 MB小于等于512 MB时：公共云：用量×单价（0.01元/GB/天）。金融云：用量×单价（0.019元/GB/天）。备份存储 取当前Project当日所有备份存储计量总和除以24的平均值。Byte 公共云：用量×单价（0.004元/GB/天...
功能特性
向量计算 Proxima CE 存储 表是MaxCompute的数据存储单元，MaxCompute中不同类型作业的操作对象（输入、输出）都是表；MaxCompute采用列压缩存储格式，通常情况下具备5倍压缩能力；MaxCompute数据存储格式全面升级为AliORC，具备更高存储...
常见问题
购买存储包后，若抵扣完账号下所有 PolarDB 集群的存储空间用量后存储包容量仍有剩余，将自动按照1:1.6的比例抵扣一级备份中超过免费额度的空间用量，直至抵扣完存储包中的所有容量。若存储包中剩余容量不足以抵扣一级备份所用量，超出部分...
常见问题
购买存储包后，若抵扣完账号下所有 PolarDB 集群的存储空间用量后存储包容量仍有剩余，将自动按照1:1.6的比例抵扣一级备份中超过免费额度的空间用量，直至抵扣完存储包中的所有容量。若存储包中剩余容量不足以抵扣一级备份所用量，超出部分...
客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
选型配置说明
提供HBase服务，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。支持JindoData本地缓存以进一步提高数据服务集群的读写性能。HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例（Master）、核心实例...
迁移方案
数据正确性验证 数据质量是实时计算数据产出对业务的重要保障，和实时计算任务日常变更一样，迁移工作也需要对新任务产出的数据质量进行验证。通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行一段时间，满足数据对比条件后...
创建多账号跟踪
说明 管理账号仅能在对象存储OSS、日志服务SLS或大数据计算服务MaxCompute中看到资源目录中成员的事件，不能通过操作审计控制台的 事件查询 或 LookupEvents 接口查询成员的事件。日志服务SLS：操作审计会自动创建一个名为 actiontrail_...
创建单账号跟踪
执行结果 创建单账号跟踪后，事件会以JSON格式保存在SLS Logstore、OSS存储空间或大数据计算服务MaxCompute数据表中，便于您对事件进行查询和分析。您可以在日志服务SLS、对象存储OSS或大数据计算服务MaxCompute中查看事件：日志服务SLS：...
关于我们
产品团队是隐私计算联盟的成员，其参与的隐私计算标准有：国家标准《个人信息去标识化效果分级评估规范》国家标准《信息安全技术多方数据融合计算安全指南》行业标准《基于安全多方计算的数据计算平台技术要求与测试方法》行业标准《基于...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
将MaxCompute数据同步到表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
购买数据安全中心
阿里云 数据安全中心DSC（Data Security Center）为您提供以数据为中心视角的安全风险治理能力，包括数据梳理、数据脱敏、数据风险审计等。本文介绍如何购买 DSC 服务。购买指导视频 支持的地域和数据库类型 购买数据安全中心前，您需要先...
存储容量单位包
存储容量单位包SCU（Storage Capacity Unit）是一种预付费存储售卖形态，可同时用来抵扣多款云存储产品的按量付费账单。相比于单一产品的存储包，存储容量单位包可以与多种云产品搭配使用，兼具性价比与资源使用的灵活性。
如何对JSON类型进行高效分析
总之，PolarDB MySQL版 的虚拟列是一种灵活且强大的功能，尤其处理半结构化数据（如JSON类型数据等）时可以直接将不规则的数据存储为结构化数据，避免中间ETL额外处理逻辑，并且可以使用传统的SQL查询语言进行查询与分析。虚拟列有助于简化...
- 产品推荐
- 这些文档可能帮助您