Redis数据源
否 filter.keys.by.type 是否过滤不符合数据存储格式的数据，默认值为false。否 key.column 用来指定key的column。不指定时默认值为uuid。否 ttl 不设置数值时表示默认永久保存；设置数值即为过期时间，单位是秒。否 max.pipeline.size ...
什么是EMR Serverless StarRocks
使用数据湖的优势在于可以使用开放的存储格式和灵活多变的Schema定义方式，可以让BI、AI、AdHoc、报表等业务维持在统一的单点身份可信（Single Source of Truth），而StarRocks作为数据湖的计算引擎，可以充分发挥向量化引擎和CBO（Cost ...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
使用数据订阅功能传输数据后日期数据格式发生变化
概述 本文主要介绍MySQL中数据类型为...详细信息 DTS默认数据存储格式为 YYYY:MM:DD，YYYY-MM-DD 是展现出来的格式，实际存储是 YYYY:MM:DD 格式。所以传输写入的数据格式无论是哪一种，最终都要统一转化为默认格式。适用于 数据传输服务 DTS
什么是备份数据量
与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（OSS）。综上所述，您可通过调整...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
入湖基础操作
存储格式：选择数据在数据湖中的存储格式，目前支持Delta，Iceberg，Hudi，Parquet，ORC。数据湖存储位置：数据存储的OSS路径，入湖任务会自动创建此处填写的空文件夹来存储数据。分区信息：添加需要写入的分区信息。分区表达式：填写描述...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
导入概述
Stream Load Broker Load Insert Into Routine Load Spark Load JSON格式导入 支持的数据格式 不同导入方式支持的数据格式略有不同。导入方式 支持的格式 Broker Load Parquet、ORC、CSV、GZIP Stream Load CSV、GZIP、JSON Routine Load ...
通过外表导入至数仓版
目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台创建存储空间 和 创建目录。已在OSS服务所在的同一VPC中创建 AnalyticDB MySQL 数仓版（3.0）集群，并...
概述
大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三方工具对文件进行格式转换，然后将转换后的数据上传至OSS，整个过程比较繁琐。为减轻用户工作量，您可以直接使用DLA来转换文件格式。假设将1.2GB的数据以...
功能发布记录
多元索引会自动清理超过保存时间的数据，减少用户的数据存储空间，降低存储成本。2021-12-07 华东1（杭州）、华东1 金融云、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国（香港）、新加坡、澳大利亚（悉尼）、...
新功能发布记录
删除已归档至专属存储的数据 任务编排中新增AnalyticDB MySQL Spark节点 新增 使用该节点可周期性、有顺序地调度Spark作业。配置AnalyticDB MySQL Spark节点 03月 功能名称 变更类型 功能描述 相关文档 逻辑数仓一键JDBC 新增 逻辑数仓的一...
文件系统存储类型
归档存储 数据审计 若您需要满足合规要求，对数据存储的保留期限有长期需求。例如，在医疗行业中，一些患者的记录需要保留6年或更久；在金融行业中，一些交易数据需要保留5年以上。采用归档存储方案能够帮助您轻松管理冷数据并降低存储成本...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
通过实时计算订阅数据
参数 说明 数据存储类型 DataHub数据存储。EndPoint 通过 DataHub访问域名 获取。Project DataHub的项目名称，可在 DataHub控制台 中获取。使用同样的方式注册RDS数据存储，参数说明如下。参数 说明 Instance RDS的实例ID，可在RDS实例的 ...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
存储格式与SerDe
STORED AS JSON 数据文件的存储格式为JSON（Esri ArcGIS的地理JSON数据文件除外）。通过 STORED AS 指定文件格式的同时，还可以根据具体文件的特点，指定SerDe和特殊列分隔符等，详细地使用方法将在各类型文件格式示例中为您讲解。
新零售：杭州数云信息技术有限公司
PolarDB 采用共享存储架构，存储和计算分离，能够最大程度的提供单实例的存储能力，最大可达100 TB，对于历史数据存储，海量在线数据存储都有较好的适配能力，降低代码复杂度和维护成本。PolarDB 通过引擎的优化和超强的IOPS能力提供高并发...
数据导出到OSS概述
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。读取表格存储数据时会消耗计算资源，计算资源的计费涵盖在计算能力费用中。按量模式：计费项包括读吞吐量、写吞吐量、...
数据探索简介
支持数据湖内多种存储格式，包括Delta、Hudi、CSV、Parquet、JSON、ORC等数据格式。准备工作 已开通OSS。已开通DLF，并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了元数据表。运行查询 登录 数据湖构建控制台，在...
数据存储冷热分离
AnalyticDB MySQL版 弹性模式集群版（新版）（3.1.3.3及以上版本）支持表或分区级别的数据存储冷热分离策略。前提条件 AnalyticDB MySQL版 集群需要同时满足以下条件：集群系列需为 弹性模式集群版（新版）。集群内核版本需为3.1.3.3或以上...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
资产全景
总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。仅统计生产项目（包括 prod 和 basic 项目），T+1 更新。总数据表数：生产环境所有物理表和逻辑表总数，实时更新。总项目数：...
资产全景
总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。机器学习PAI模型训练绑定的MaxCompute项目的数据量、外部项目计算源的数据量的不纳入计算。仅统计生产项目（包括 prod 和 basic ...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
ActionTrail日志清洗
说明 根据业务需求，判断是否需要新建文件夹，将ActionTrail投递过来的数据存储在新建文件夹中。在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
备份集下载功能概览
数据库备份DBS 为云数据库、ECS自建数据库提供灵活的备份与恢复功能，同时也支持将云上备份集下载到本地，进一步增强数据的安全性。您可通过手动或自动模式进行数据下载，下载的备份集可用于恢复到本地数据库、Excel分析与审计、备份到本地...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障...通过日志或者其他方式对原始指标数据进行采集和实时计算，最后将实时计算的结果数据存储到 TSDB，实现监控和分析的展现。
概述
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
整体架构
为满足不同场景需求，首先将一份全量数据存储在低成本高吞吐存储介质中，低成本离线处理场景直接读写低成本存储介质中的数据，可降低数据存储和数据IO成本，保证高吞吐。其次将实时数据存储在单独的存储IO节点（EIU）上，保证行级的数据...
产品优势
Spark与 AnalyticDB MySQL版 的计算资源、数据存储深度集成。您可以使用Serverless Spark通过按需弹性计算资源进行低成本离线处理，将数据直接写入到内部存储中供在线分析使用。开放存储 湖仓版（3.0）支持低成本的近实时批量更新数据格式...
范围选择器功能介绍
其他类型：如果您不需要系统自动生成API链接的数据格式，您可以选择 其他类型 中以具体GeoJSON数据内容或者范围数据图形的类型格式保存到本地。单击具体数据内容右侧的 图标，即可复制所选区域的所有GeoJSON数据内容；单击数据内容最右侧的...
范围选择器功能介绍
其他类型：如果您不需要系统自动生成API链接的数据格式，您可以选择 其他类型 中以具体GeoJSON数据内容或者范围数据图形的类型格式保存到本地。单击具体数据内容右侧的 图标，即可复制所选区域的所有GeoJSON数据内容；单击数据内容最右侧的...
按扫描量付费
然后将GZIP格式的数据分区存储，将待扫描的数据存储在同一个分区中。DLA只扫描一个分区，扫描的数据量降低至0.2 TB。将1 TB的JSON文件转换为ORC格式，DLA只需按列扫描其中10%的数据，扫描的数据量降低至0.1 TB。经过数据格式转换、压缩和...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
- 产品推荐
- 这些文档可能帮助您