RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
设置数据分片以充分利用Shard性能
您可以对分片集群实例中的集合设置数据分片，以充分利用Shard节点的存储空间和计算性能。背景信息 如果没有对集合设置数据分片，数据将被集中存放在一个Shard节点中，这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 ...
查询机制
SELECT 使用SELECT查询数据时，需要从磁盘中读取一个数据块到内存中，然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
数据库代理常见问题
数据库代理地址（读写分离地址）可以修改，具体操作，请参见 设置数据库代理连接地址。主实例写的频率不高，能不能让读请求也发送给主实例？能。设置读权重分配时，为主实例也设置权重即可。如何为主实例设置权重，请参见 开通数据库代理。...
MapReduce
所谓分片，就是将输入数据切分为大小相等的数据块，每一块作为单个Map Worker的输入被处理，以便于多个Map Worker同时工作。Map阶段：每个Map Worker在读入各自的数据后，进行计算处理，最终输出给Reduce。Map Worker在输出数据时，需要为...
存储说明
块存储类型 描述 使用场景 云盘 包括SSD云盘、高效云盘和ESSD云盘。磁盘不直接挂载在本地的计算节点上，而是通过网络访问远端的一个存储节点。每一份数据在后端都有两个实时备份，一共三份数据。当一份数据损坏时（磁盘损坏，不是业务上的...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
ALTER DATABASE
只有数据库拥有者或者超级用户可以重命名一个数据库，非超级用户拥有者还必须拥有 CREATEDB 特权。当前数据库不能被重命名（如果你需要这样做请连接到一个不同的数据库）。第三种形式更改数据库的拥有者。要修改拥有者，你必须拥有该数据库...
配置项说明
批量配置 选中多个组件后，在右侧面板可以做如下批量配置。序号1：当选中任意组件时显示。对齐方式：设置多个组件的对齐方式，包括但不限于左对齐、居中对齐、右对齐、顶部对齐、水平对齐、底部对齐。均分方式：设置多个组件的均分方式，...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
企业版产品系列
基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。计算与存储分离 采用计算与存储分离的架构，满足公共云计算环境下根据业务发展弹性扩展集群的刚性需求。...
基本概念
实例所占用的磁盘容量除集合数据外，还有实例正常运行所需要的空间，如系统数据库、数据库回滚日志、重做日志、索引等。请确保云数据库MongoDB实例具有足够的磁盘容量来存储数据，否则可能导致实例被锁定。若因磁盘容量不足导致实例被锁定...
流式数据通道概述
提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据做进一步处理，已经支持数据聚合（Merge）：提升存储效率。应用场景 MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量事件日志实时写入...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
数据源管理
在数据源卡片页右上角可以做以下操作。单击修改时间，可以按 名称、修改时间 和 创建时间 对当前数据源进行排序。单击筛选，可以根据需要，筛选出特定数据源。单击搜索框，输入数据源名称，快速定位所需数据源。重命名数据源 登录 DataV...
数据集管理
在数据集卡片页右上角可以做以下操作。单击修改时间，可以按 名称、修改时间 和 创建时间 对当前数据集进行排序。单击筛选，可以根据需要，筛选出特定数据集。单击搜索框，输入数据集名称，快速定位所需数据集。重命名数据集 登录 DataV...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
DLF+EMR之统一权限最佳实践
业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制实际业务中不同用户使用数据的权限，主要分为以下几种情况：超级管理员 拥有数据湖上数据的所有权限，以及分配权限给其他人员的能力。...
高压缩引擎（X-Engine）介绍
适用场景 PolarDB 高压缩引擎（X-Engine）提供了超大存储容量，它可以同时作为多个业务历史数据的汇聚地，以方便对所有历史数据进行集中存储和管理，主要适用于如下几个场景：将 PolarDB 高压缩引擎（X-Engine）作为线下自建数据库实例的冷...
离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
概述
PolarDB PostgreSQL版 也可以与块存储联合使用，根据不同维度自动将冷热数据分层存储，既保持了增删改查的SQL全部透明，又通过多级缓存保障了性能的最少衰减。数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再...
概述
PolarDB PostgreSQL版（兼容Oracle）也可以与块存储联合使用，根据不同维度自动将冷热数据分层存储，既保持了增删改查的SQL全部透明，又通过多级缓存保障了性能的最少衰减。数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入...
概述
PolarDB PostgreSQL版（兼容Oracle）也可以与块存储联合使用，根据不同维度自动将冷热数据分层存储，既保持了增删改查的SQL全部透明，又通过多级缓存保障了性能的最少衰减。数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入...
HDFS概述
每一个上传到HDFS的文件都会被划分为一个或多个数据块，这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上，位置信息交由NameNode统一管理。基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构...
什么是PolarDB MySQL企业版
基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
版本发布记录
无 云盘加密 基于块存储对整个数据盘进行加密，即使数据备份泄露也无法解密，保护数据安全。云盘加密 2020年11月 功能名称 描述 相关文档 华北5（呼和浩特）和中国香港地区正式开服 无 无 日志投递链路优化发布 支持SLS日志数据投递到...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
安全性
网络和数据链路 AnalyticDB PostgreSQL版 做为云原生分布式系统拥有非常高的安全性，首先每个新建实例使用专有网络，也称为VPC（Virtual Private Cloud），VPC是一种隔离的网络环境，安全性和性能均高于传统的经典网络。根据使用场景可选择...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
lo-implementation
大对象的实现将大对象分解成很多“数据块”并且将这些数据块存储在数据库的行中。一个 B-tree 索引用来保证在进行随机访问读写时能够根据数据块号快速地搜索到正确的数据块。为一个大对象存储的数据块并不需要是连续的。例如，如果一个应用...
A100使用指南
12,000元/月 144,000元/年 企业版 吞吐量峰值：30,000条SQL/秒 800万/小时入库速率 10亿条在线SQL语句存储 350亿条归档SQL语句存储 支持审计25个数据库实例 20,000元/月 240,000元/年 说明 可以通过需要使用的数据库实例的数量来选择需要...
- 产品推荐
- 这些文档可能帮助您