概述
大数据分析 如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
对象存储优化
为了更有效地管理存储数据，您还可以使用标签对OSS对象进行分类，并在生命周期规则中对这些标签进行过滤。了解数据详细信息 存储空间清单 可以帮助您更好地了解对象的状态，简化并加速工作流和大数据作业任务等。存储空间清单功能以周为...
应用场景
场景二：Redis作为存储数据库使用 游戏部署架构相对简单，主程序部署在ECS上，所有业务数据存储在Redis中，作为持久化数据库。云数据库Redis版 支持持久化功能，主备双机冗余数据存储。Redis的服务可靠性至关重要，一旦Redis服务不可用，将...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
文件系统存储类型
数据存储 数据取回 成本节省计划 低频存储和归档存储是针对存储在标准存储空间中的冷数据进行成本优化。设置生命周期管理策略，您可以根据业务实际访问数据的情况自动分级存储数据，从而优化存储成本。如果您需要频繁访问低频存储或归档...
常见问题
您可以通过HBase Shell对表执行 major_compact 'tableName' 来强制触发 compaction，将热存储中的冷数据归档至冷存储中。重要 major_compact 'tableName' 命令会加重IO负载，不建议您频繁使用。Q：为什么执行 compaction 操作后，数据还未...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
计量计费项
您可以通过表格存储控制台或者通过费用中心查看实例中的表数据大小。通过表格存储控制台查看 登录 表格存储控制台。在页面上方，选择地域。在 概览 页面，单击目标实例名称或在 操作 列单击 实例管理。在 实例详情 页签的 实例基础信息 ...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
MaxCompute数据迁移至OTS
order":{"hops":[{"from":"Reader","to":"Writer"}]},"setting":{"errorLimit":{"record":"0"},"speed":{"throttle":false,"concurrent":1,"dmu":1 } } } 在表格存储控制台中查看新增的表数据。登录 表格存储控制台。在左侧导航栏上，单击...
概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
ECU详解
大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储架构，热点数据存储在SSD磁盘中，冷数据存储在HDD磁盘中。适用于并发稍低、性能要求不高（可接受数据查询响应时间受超过10秒以上）的业务场景。ECU规格 系列 型号 内存 磁盘类型...
应用场景
这些服务都具有高效的数据压缩、列式存储和并行查询等特性，使其在大数据分析场景中表现出色。可以用于用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
表设计规范
MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。表设计是否合理将影响存储和计算的性能，进而影响到存储和计算的计费。声明 本文中介绍的非功能性规范均为建议性规范，产品功能无限制，仅供参考。表设计主要目标 降低存储...
冷数据存储计费规则（可选）
本文介绍了开启冷数据归档功能后，在冷数据存储方面的计费规则。当 开启冷数据归档 后，PolarDB 企业版支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据归档的详细介绍，请参见 冷数据归档概述。...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
企业版产品系列
集群中所有的数据文件都存放在共享存储（PolarStore）中，各个主节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，数据库代理会自动转发SQL命令到正确的主节点。多主...
混合存储型（已停售）
混合存储型架构图 Redis企业版混合存储型（简称混合存储型）是阿里云自主研发的兼容Redis协议的混合存储产品，使用磁盘存储全量数据，将热数据保存到内存中供应用快速读写。在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度...
边缘存储
通过控制台管理存储数据 说明 控制台目前最大支持100KB的value添加，如果您有更大规格Value需求，请使用 OpenAPI 操作。您可以通过控制台来添加、修改或删除边缘存储数据。登录 DCDN控制台。在存储空间列表中找到目标存储空间，单击 操作 ...
混合存储型（已停售）
云原生内存数据库Tair 混合存储型整合了内存和磁盘二者的优势，在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖，更多信息，请参见【通知】混合存储型实例停止售卖，推荐选择 持久内存型 实例。简介 图 1....
概述
使用场景 典型的应用场景如下：近实时计算场景 时间序列数据的场景 预测建模 与存量数据共存 通常生产环境中会有大量的存量数据，数据可能存储在HDFS、RDBMS或Kudu中。如果您只是想访问和查询这些存量数据，可以使用Impala访问和查询，而...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
- 产品推荐
- 这些文档可能帮助您