快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
数据加密
当云数据库MongoDB实例开启TDE功能后，新创建的数据库或集合中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）、服务（例如对象存储OSS）前都会进行加密，因此实例中对应的数据文件和备份文件都是以密文形式存在的。TDE的设置方法请参见 ...
PolarDB Serverless实现了哪些突破
Serverless架构对数据库的性能会产生负面影响，因为远程访问数据库中的数据（内存池或者存储池），会引入额外的网络延迟。PolarDB Serverless大量使用RDMA。尤其是one-sided RDMA verbs，包括使用RDMA CAS获取全局页锁。为了提高并发性，...
冷数据分层存储计费规则
当您开启了该功能并执行了冷数据归档操作后，PolarDB PostgreSQL版 将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买存储包，来抵扣...
冷数据分层存储计费规则
当您开启了该功能并执行了冷数据归档操作后，PolarDB PostgreSQL版（兼容Oracle）将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买...
冷数据分层存储计费规则
当您开启了该功能并执行了冷数据归档操作后，PolarDB PostgreSQL版（兼容Oracle）将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买...
冷数据存储计费规则（可选）
当您开启了该功能并执行了冷数据归档操作后，PolarDB 企业版将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买存储包，来抵扣OSS中冷...
计算与分析概述
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
方案背景
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
文件系统存储类型
如果您需要频繁访问低频存储或归档存储中的数据，则建议您创建数据取回任务，将指定文件或目录中的数据取回至标准存储，避免频繁访问产生读写流量费用。更多信息，请参见 生命周期管理策略。存储类型对比 对比指标 标准存储 低频存储 归档...
设置数据冷热存储策略
如果您想要以指定规则对文件引擎中存储的数据进行归档，将冷热数据分开存储，可以通过命令设置冷热存储策略，按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
通过实时计算订阅数据
创建流计算开发作业，将DataHub中的数据实时同步到RDS的目标表中。进入 阿里云流计算开发平台，单击 开发>作业开发>新建作业，创建一个名称为test的开发作业。单击左侧菜单栏的 数据存储，右键单击 DataHub 数据存储，选择 注册数据存储，...
功能特性
创建同步MaxCompute 同步ADS 同步Datahub中的数据至ADS指定的具体表中 创建同步ADS 同步ElasticSearch 同步Datahub中的数据至ElasticSearch指定的具体index中 创建同步ElasticSearch 同步函数计算 同步Datahub中的数据至函数计算指定的...
存储冗余概述
对象存储OSS提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。本地冗余存储（LRS）采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内...
产品功能
监控运维 TSDB 提供实例运维系统，让您可以实时的掌握实例的运行情况、性能指标和存储空间使用情况，并通过设置报警通道，实时发现资源瓶颈。数据和实例安全 TSDB 提供以下方案保证您的数据和实例的安全：提供 VPC 的实例访问方式，充分...
基础数据操作
写入时序数据到时序表时，如果为时序表创建了分析存储，则分析存储会自动同步时序表中的数据。说明 关于分析存储的更多信息，请参见 时序分析存储概述。管理时间线元数据 写入时序数据前，您可以预先定义时间线。如果未预先新建时间线...
计费模式
元数据对象的存储量 元数据对象是指数据湖元数据中存储的数据库、表、分区和索引。计费规则，每月前100万个存储对象免费，超过100万后，超过100万的部分，每10万个对象收费5元/月，不足10万的按10万个收费。计费周期与出账周期，按月统计...
数据采集
AnalyticDB MySQL版 集群内部对多种数据进行了采集，服务于监控告警系统，确保对故障问题可追溯和可排查。时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务...
telnet 访问操作指南
该标志将和需要存储的数据一起存储，并在客户端 get 数据时返回。您可以将此标志用做特殊用途，此标志对服务器来说是透明的。过期的时间。0 表示存储的数据永远不过时（但可被服务器算法：LRU 等替换）。非 0（unix 时间），过期后服务器...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
polar_comp_redwood_date
当DATE在命令中显示为列的数据类型时，如果配置参数 polar_comp_redwood_date 设置为 true，则在表定义存储在数据库中时，它将转换为TIMESTAMP。因此，时间部分也将与日期一起存储在列中。这与Oracle的DATE数据类型是一致的。如果 polar_...
Serverless存储层
全量数据以微分区（Micro Partitions）的形式存储，大幅度优化传统数仓中出现的IO放大和写放大的问题，提供高吞吐的读写能力。同时，利用OSS和PANGU的弹性能力，在提供廉价存储的同时，容量可无限扩展。高性能 支持列投影、谓词下推、分区...
典型场景
同时它还支持高性能的在线分析能力，可以通过Quick BI、DataV、Tableau、帆软等即时查询数据，并将数据以报表形式展现。大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储...
存储监控
MyISAM读写 MySQL_MyISAMKeyReadWrites 实例存储节点中MyISAM平均每秒钟从缓冲池中的读取次数、MyISAM平均每秒钟从缓冲池中的写入次数、MyISAM平均每秒钟从硬盘上读取的次数和MyISAM平均每秒钟从硬盘上写入的次数。MyISAM索引 MySQL_...
数据存储
索引 索引（Index）是对表（Table）中一列或多列的值进行排序的一种结构，使用索引（Index）可以快速过滤表中的数据，提高数据的查询效率。目前云数据库Doris版主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。自建的二级...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
概述
Federated引擎允许您访问远程 PolarDB MySQL版 集群或社区MySQL数据库中的数据，而无需使用复制或集群技术。本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL...
分析数据
您可以选中需要分析的数据，单击菜单栏中的 数据探查，即可在电子表格顶部，以图形和富文本的形式，为您展示每列数据的类型、值分布的概览情况。数据探查简单模式的说明如下：针对STRING和DATE类型：以富文本的形式为您展示Top2的值及其占...
什么是数据安全中心
DSC 可根据预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储）、自建数据库等数据库中的数据，通过敏感数据规则中的命中次数来判断是否属于敏感数据。重要 DSC 仅对数据...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
数据量
数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储空间。ECS中为：购买时选择的系统盘和数据盘存储空间。数据文件空间 数据库的数据文件在...
SA混合云存储阵列
可靠 阿里云混合云存储阵列采用了全冗余的硬件设计，支持数据加密、集成AD/LDAP、支持ACL，云端分布式存储提供多副本跨区域保护，11个9的数据高可靠性，完备的数据一致性校验，确保用户数据的安全和可靠。阿里云混合云存储阵列专为对存储有...
常见术语
数据湖 数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据，数据湖支持存储EB级别的数据，阿里云数据湖存储以OSS为代表！数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
- 产品推荐
- 这些文档可能帮助您