数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
常见问题（FAQ）
Delta Lake使用版本化的Parquet文件将您的数据存储在您的云存储中。除版本外，Delta Lake还存储事务日志，以跟踪对表或Blob存储目录所做的所有提交，以提供ACID事务。如何使用Delta Lake读写数据？您可以使用自己喜欢的Apache Spark API来...
数据模型架构规范
良好的数据模型可以帮助我们更好地存储数据，更有效率地获取数据，保证数据间的一致性。模型设计的基本原则 高内聚和低耦合 一个逻辑和物理模型由哪些记录和字段组成，应该遵循最基本的软件设计方法论中的高内聚和低耦合原则。主要从数据...
常见问题
请先执行 flush 操作将数据刷写至磁盘上，再执行 compaction 操作，即可将数据存储至冷存储中。compaction 操作说明如下：HBase Shell使用方式，请执行 major_compact 命令。Lindorm-cli连接使用方式，使用语法请参见 ALTER TABLE。Q：为...
DataWorks数据集成
该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息，请参见 数据集成（Data Integration）和 支持的数据源与读写插件...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
一键创建OSS数据仓库
配置好数据源后，单击 测试连接，进行连通性测试。建仓配置 Schema名称 设置Schema的名称，即RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库在DLA中的映射数据库名称。数据位置 建仓时，RDS、PolarDB for MySQL、MongoDB数据库...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
恢复全量数据
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
新建 PolarDB-X 1.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB 数据源。背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式版数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生...
新功能发布记录
无 2021年5月 存储池支持NAS 除DBS自带的内置存储外，DBS存储池现已支持接入自建存储池（如OSS与NAS），便于更好地管理备份数据。什么是存储池 缺陷修复 修复到期备份集无法删除的问题。修复备份网关软删除导致同一台机器无法重新部署问题...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象...数据价值最大化，企业利润最大化 在最大程度上用好企业各类数据，使企业数据价值最大化，为企业提供更高效的数据服务。
新零售：杭州数云信息技术有限公司
PolarDB 采用共享存储架构，存储和计算分离，能够最大程度的提供单实例的存储能力，最大可达100 TB，对于历史数据存储，海量在线数据存储都有较好的适配能力，降低代码复杂度和维护成本。PolarDB 通过引擎的优化和超强的IOPS能力提供高并发...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
时序分析存储概述
分析存储与时序表的数据存储相互独立，允许用户自定义数据的生命周期（TTL），对分析存储的查询操作不会对时序表的读写性能产生影响。分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
计费常见问题
删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费？欠费 如何查看是否欠费？开通 文件存储 HDFS 版 服务后，就开始计费吗？仅开通 文件存储 HDFS 版 服务，不会产生费用。当您在 文件...
数据存储
本文介绍 云数据库 SelectDB 版 在数据存储方面的关键设计和特性，帮助客户充分发挥SelectDB的潜力。表 在云数据库SelectDB中，表（Table）是存储结构化数据的一种特殊形式。一张表由行（Row）和列（Column）组成，其中行表示一行数据，列...
概述
表（Table）数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性，且可以划分为多个Tablet。分片（Tablet）一个表可以被分到若干个分片中，称为Tablet。一个Tablet是指表上一段连续的Segment。一个特定的Tablet会被复制到多个...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
外部数据
不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程数据可能需要在外部数据源的授权。这些信息通过一个用户映射提供，它基于当前的本数据库角色提供了...
计费常见问题
如果您开启了生命周期管理功能，当数据满足生命周期管理策略后会转储到低频存储或归档存储，归档存储容量和您在访问这部分数据时会产生低频存储或归档存储读写流量费用，这些费用仅支持按量付费，因此会产生欠费。更多信息，请参见 通用型...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
入湖基础操作
数据湖存储位置：数据存储的OSS路径，入湖任务会自动创建此处填写的空文件夹来存储数据。分区信息：添加需要写入的分区信息。分区表达式：填写描述分区值的获取方式，比如 MySQL 中from_unixtime(gmt_create)。分区字段：填写分区字段名称...
欠费说明
本文主要说明您的数据库存储DBFS会在什么情况下产生欠费，以及欠费之后的注意事项。欠费场景 当您的DBFS服务处于以下情况时，将产生欠费：您绑定的账户余额不足。注意信息 如果您的DBFS服务产生欠费，请知悉：当DBFS服务处于欠费状态，DBFS...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
创建备份计划
说明 数据量较大时，建议您购买DBS提供的 备份实例存储包，用于抵扣后续备份计划的 存储费用，该费用仅在数据存储在 DBS内置存储 时收取。更多存储包的选购建议，请参见本文 常见问题。如需了解备份计划后续可能产生的费用问题等，请参见 ...
应用场景
主备两份数据存储。主备日志复制同步模式下，影响主库性能。异步模式下，备库延迟存在数据丢失风险。部署及切换复杂，需保证切换工具的高可用。传统数据库搬站上云 传统数据库，例如：Oracle/RAC，SAP HANA等基于SAN之上构建。与SAN相比，...
支持的数据库引擎与功能
本文介绍 数据库备份DBS 支持备份恢复的数据库引擎版本、数据库...数据量较大时，建议您购买DBS提供的 备份实例存储包，用于抵扣后续备份计划的 存储费用，该费用仅在数据存储在 DBS内置存储 时收取。更多存储包的选购建议，请参见 常见问题。
基本概念
逻辑模型：反映的是系统分析设计人员对数据存储的观点，是对概念数据模型进一步的分解和细化；数据资源平台中可通过手动、DDL语句、EXCEL导入、云计算资源扫描的方式来实现逻辑模型创建。物理模型：是对真实数据库的描述；数据资源平台中...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
数据操作篇
OSS 是阿里云提供的开放存储服务，用以应对海量数据的存储和访问。OSS 的存储单价比表格存储更低，更适合存储文件。如果应用程序不方便使用 OSS，可以将超过 2 MB 的单个值拆分成多个行，存储在表格存储中。错误重试加入时间间隔 表格存储...
安全合规概述
阿里云表格存储Tablestore具有丰富的安全防护能力，通过多项合规认证，支持服务器端加密、数据传输加密、细粒度权限管控、日志审计、数据监控等特性。表格存储为您的云端数据安全进行全方位的保驾护航，并满足您企业数据的安全与合规要求。...
常见问题
云存储网关中的数据没有同步上传到OSS Bucket的原因是什么？如何配置文件网关的NFS v4共享路径？文件网关忽略删除的使用场景及配置是什么？文件网关如何加入AD域？块网关FAQ 如何使用块网关创建文件系统并刷新缓存到iSCSI盘？块网关的数据...
操作指南FAQ
混合云存储网关数据下载功能是什么？云存储网关复制模式新玩法的部分复制是什么？云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
收钱吧订单查询&搜索
云数据库Lindorm提供了海量的数据存储，百亿数据毫秒级的实时查询性能，高级专家的耐心解答和护航，每年节约近百万元成本。客户简介 收钱吧，隶属于 上海收钱吧互联网科技股份有限公司，是中国移动支付服务商领军者，致力于用网络和数据的...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
新功能发布记录
数据安全卫士 数据归档至专属存储 新增 数据归档功能支持将 RDS MySQL、RDS PostgreSQL 和 PolarDB MySQL版 等数据库的数据归档至专属存储（存储在 DMS 中）。数据归档至专属存储 10月 功能名称 变更类型 功能描述 相关文档 查询数据备份 ...
存储冗余概述
对象存储OSS提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。本地冗余存储（LRS）采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内...
- 产品推荐
- 这些文档可能帮助您