准备工作
用于访问表格存储服务，将原始数据和聚合结果写入表格存储的数据表中。说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格...
通过实时计算订阅数据
依次双击 DataHub 数据存储>项目名称（datahub_test_datav）>表名（mytable），选择右侧的 作为输入表引用，在开发作业中引用数据源。依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，...
OSS数据安全防护最佳实践
本文介绍如何使用 数据安全中心（DSC），对OSS中存储的敏感数据进行识别、分类分级和保护。背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的OSS Bucket中，一旦发生泄漏，...
通过控制台投递数据到OSS
按时间分区 数据投递支持提取数据写入表格存储的时间，写入时间$yyyy（年份数字）、$MM（两位月份数字）、$dd（两位日期数字）、$HH（两位小时数字）、$mm（两位分钟数字）转化后可以作为投递到OSS Bucket中的目录前缀。说明 OSS中的文件...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
数据归档
云盘版本的RDS PostgreSQL实例数据表文件都存储在云盘（ESSD）中，在数据量较大时，可能会面临较高的存储成本。通常，RDS PostgreSQL实例的数据包含冷数据和热数据。通过数据归档功能，可以将对象存储（OSS）用作归档冷数据的存储介质，...
基础数据操作
更多信息，请参见 将表格存储时序表中数据同步到另一个时序表。写入时序数据到时序表时，如果为时序表创建了分析存储，则分析存储会自动同步时序表中的数据。说明 关于分析存储的更多信息，请参见 时序分析存储概述。管理时间线元数据 写入...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
2023年
您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，以降低数据存储费用。分层存储 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023-10-30 新增Spark Connector 新说明 本文为您介绍如何使用第三方计算...
2021年
2021-09-01 华东1（杭州）华东2（上海）华北2（北京）华南1（深圳）华北3（张家口）新加坡 无 MaxCompute 支持通过湖仓一体方式读取OSS上的Hudi或 Delta Lake格式存储 Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
如何删除时序数据
时序模型中的数据包括时间线元数据和时序表数据，此外如果为时序表建立了分析存储，则还包括分析存储的数据。如果要删除时间线元数据，则您可以通过配置时间线元数据生命周期或者调用 DeleteTimeseriesMeta 接口进行删除。此操作不会删除...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
产品架构
分布式结构化数据存储架构 在分布式结构化数据存储架构中，Tablestore 直连应用系统实现简单的事务处理和高并发数据读写。数据湖架构 数据湖架构主要用于数据中台、推荐系统、风控系统等场景。在数据湖架构中，表格存储 作为源表、结果表...
减灾与应急时空解决方案与案例
完全架构于云上，总体采用数据存储层、业务服务层和应用层三层架构。底层采用云原生数据库 PolarDB PostgreSQL版（兼容Oracle）+Ganos时空数据库引擎形成坚实底座，中间层采用GeoServer进行空间数据服务发布。支持直接导入面向对象存储OSS...
简介
数据迁移 OSS之间数据迁移 第三方数据源迁移到OSS 从Amazon S3上的应用无缝切换至OSS 使用ossimport迁移数据 数据备份和容灾 备份存储空间 数据库备份到OSS 数据直传OSS Web端直传实践 移动端直传实践 数据处理与分析 通过MaxCompute查询和...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
迁移时源库为Oracle的注意事项及限制
如果迁移的源数据库类型为自建Oracle，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为Oracle的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：自建Oracle迁移至PolarDB ...
什么是OSS-HDFS服务
注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS服务的正常使用或者引发数据丢失的风险，禁止以非OSS-HDFS提供的方式对目录.dlsdata/及目录下的...
基本概念
函数（Function）函数可以实现对数据库中存储的数据进行查询、统计、计算等操作。它们可以与SQL语句配合使用，也可以被视为一种自定义的SQL函数。常见的函数有以下几类：聚合函数 聚合函数是指对某个数据集合进行计算并返回结果值。常见的...
概述
将数据存储在表中的概念现今是如此常见，以致于似乎本来就很明显，但存在许多其他组织数据库的方式。Unix 类操作系统上的文件和目录构成层次数据库的示例。更现代的开发是面向对象的数据库。每个表是指定的行集合。给定表的每行具有相同的...
功能特性
删除DBFS 删除数据库文件存储并停止计费 删除DBFS 修改DBFS实例规格 在使用数据库文件存储的过程中根据业务存储性能的要求，调整数据库文件存储的实例规格，实例规格越高，消耗的CPU和内存资源越多 实例规格说明 修改DBFS使用场景 在使用...
按时间戳冷热分离
本文介绍如何按时间戳划分冷热数据。...此时系统尚未触发数据归档至冷存储，因此大量的冷数据滞留于热存储中，数据量的增大导致了查询效率的降低。需要对表执行 major compaction 操作来解决这一问题。具体语法，请参见 ALTER TABLE。
基本概念
数据范围 数据范围是指存储在数据订阅任务中的增量数据的时间戳范围。默认情况下，数据订阅任务会保留最近24小时的数据。DTS会定期清理过期的增量数据，并更新数据订阅任务的数据范围。说明 增量数据对应的时间戳是指这条增量数据在源库中...
时序模型计量计费
使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 时序模型中的分析存储功能将从2023年12月20日正式开始收费...
数仓版（3.0）计费项
计费公式：存储空间费用=热数据存储费用+冷数据存储费用 热数据存储空间费用=热数据存储空间单价×热数据存储量×时长 冷数据存储空间费用=冷数据存储空间单价×冷数据存储量×时长 查询用量：您可以在 云原生数据仓库AnalyticDB MySQL控制...
配置冷存储
开通 云原生多模数据库 Lindorm 的冷存储功能后，需要配置数据库中的表或者列簇，本文介绍配置冷存储的方法。背景信息 冷存储功能仅支持 云原生多模数据库 Lindorm 引擎版本为2.1.8及以上。Lindorm支持在表级别设置存储属性，可以将整个表...
Kafka实时入湖建仓分析
数据解析配置 的参数说明如下：参数名称 参数说明 消息数据格式 Kafka的Value字段的数据存储格式，固定为JSON。Schema设置模式 默认为 手动设置，会从Kafka的Topic获取一条样例数据进行Schema的推断设置。消息样例数据 通过调整样例数据对...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
功能特性
向量计算 Proxima CE 存储 表是MaxCompute的数据存储单元，MaxCompute中不同类型作业的操作对象（输入、输出）都是表；MaxCompute采用列压缩存储格式，通常情况下具备5倍压缩能力；MaxCompute数据存储格式全面升级为AliORC，具备更高存储...
操作指南FAQ
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理...
常见问题
云存储网关中的数据没有同步上传到OSS Bucket的原因是什么？如何配置文件网关的NFS v4共享路径？文件网关忽略删除的使用场景及配置是什么？文件网关如何加入AD域？块网关FAQ 如何使用块网关创建文件系统并刷新缓存到iSCSI盘？块网关的数据...
Lindorm实时入湖建仓分析
高级配置（可选）默认忽略数据删除：即使源库中数据被删除了，在目标湖仓中，也不会删除这些数据。上述参数配置完成后，单击 创建。入湖负载创建成功后，在 工作负载列表 页签中将展示创建成功的工作负载。启动工作负载。在 工作负载列表 ...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
存储冗余概述
存储冗余类型对比 本地冗余存储和同城冗余存储的数据持久性和服务可用性的对比如下。存储冗余类型 Bucket地域属性 存储类型 数据持久性 服务可用性 本地冗余存储 有地域属性Bucket 标准存储 99.999999999%（11个9）99.99%低频访问存储 99....
- 产品推荐
- 这些文档可能帮助您