配置Oracle输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。编码方式 选择读取数据的编码方式。Dataphin支持选择的 编码方式 ...
配置AnalyticDB for PostgreSQL输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值...
配置ClickHouse输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，...
时序引擎应用开发简介
2.数据建模 针对业务场景进行数据建模，需要确定创建数据库和时序数据表，确定时序数据表的标签、时间戳和量测值，并根据数据特征确定PRIMARY KEY用于数据分片。关于数据模型，请参见 数据模型。时序引擎提供了三种Schema约束策略，分别为...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
管理用户账号和数据库
重要 数据分片过多会导致内存资源占用高，影响查询性能，建议合理规划数据库的数量，最好10个以内。删除数据库 登录 TSDB控制台。在页面左上角，选择目标地域。在 实例列表 页面，单击目标实例 操作 列中的 管理。选择 时序数据管理>数据库...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
数据库代理常见问题
目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通数据库代理后，实例原来的地址和只读实例的地址是否会被收回？数据库代理的内网网络类型...
阿里云自研的Proxy命令
说明 该命令返回的Node是指集群规格下的数据分片节点，和 SELECT 命令中的DB不是同一个概念。命令示例：INFO KEY foo 返回示例：slot:12182 node_index:0 IINFO 命令格式：IINFO db_idx[section].命令描述：与Redis原生 INFO 命令类似，...
阿里云自研的Proxy命令
说明 该命令返回的Node是指集群规格下的数据分片节点，和 SELECT 命令中的DB不是同一个概念。命令示例：INFO KEY foo 返回示例：slot:12182 node_index:0 IINFO 命令格式：IINFO db_idx[section].命令描述：与Redis原生 INFO 命令类似，...
云产品集成
什么是数据管理DMS 支持的数据库类型与功能 云数据库录入 DataV 数据可视化 DataV 数据可视化是使用可视化应用的方式来分析并展示庞杂数据的阿里云产品。您可以使用 DataV 添加 OceanBase for MySQL 数据源，通过图形化的界面处理 ...
深度解析PolarDB数据库并行查询技术
通常来说，每个worker只有所有数据的一个分片，只在一个数据分片上做GROUP BY是有极大的风险得到错误的GROUP BY结果的，因为同一GROUP分组的数据可能不只是在本WORKER的数据分片上，也可能在其它WORKER的数据分片中，被其它WORKER所持有。...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
数据上云工具
DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供的一种支持RDBMS（关系型数据库）、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。DTS可以支持RDS、MySQL...
常见问题
对查询的影响：查询时，一个分片下的数据是串行扫描的，如果一个分片下的数据很多，就会影响单次查询的RT。多个分片之间是并行查询的，如果分片数很多，一次查询给服务端造成的并发就会比较高。所以分片数不能设置太多，也不能太少。设置...
一键建仓
更多信息，请参见 什么是数据传输服务DTS。AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL...
同步方案概览
更多区别，请参见 数据迁移和数据同步的区别是什么？当前仅当目标库为函数计算FC时，不支持跨地域的同步任务（源库与目标库的地域不同），其余链路均支持。是否支持创建跨阿里云账号的同步任务（源或目标库实例有 是否跨阿里云账号 配置项...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
迁移方案概览
更多区别，请参见 数据迁移和数据同步的区别是什么。迁移链路均支持跨地域的任务。是否支持创建跨阿里云账号的迁移任务（源或目标库实例有 是否跨阿里云账号 配置项，且选择为 跨账号）取决于数据库的类型和接入方式。更多信息，请参见 ...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
DISTRIBUTED MAPJOIN
shard_count=<n>：设置小表数据的分片数，小表数据分片会分布至各个计算节点处理。n 即为分片数，一般按奇数设置。说明 shard_count 值建议手动指定，shard_count 值可以根据小表数据量来大致估算，预估一个分片节点处理的数据量范围是[200...
DISTRIBUTED MAPJOIN
shard_count=<n>：设置小表数据的分片数，小表数据分片会分布至各个计算节点处理。n 即为分片数，一般按奇数设置。说明 shard_count 值建议手动指定，shard_count 值可以根据小表数据量来大致估算，预估一个分片节点处理的数据量范围是[200...
向量检索版介绍
表之间共享数据节点资源（CPU、内存、磁盘）：上图中展示的就是两张向量表，一个是4分片，一个是1分片，4分片的会根据产出的索引进行均分数据到每个分片中，而1分片的向量表则会形成广播表在每个数据节点中存储一份完整的向量表2的索引数据...
为什么Redis内存报警与监控的内存使用率不一致
现象二：您的应用程序出现异常 command not allowed when used memory>'maxmemory'，但查看控制台的 监控页面 发现 内存并没有满 或 只有一个数据分片的内存使用率较高。问题原因 为什么内存监控与内存告警不一致？如果 Redis 性能监控与...
MongoDB 4.4
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
MongoDB 7.0
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
MongoDB 5.0
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
MongoDB 6.0
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
选型介绍
主要由三部分组成：节点类型（即每个分片的规格）、副本数（即replica，每个备份都可独立承担线上流量，通过增加副本数可扩展集群的水平负载能力）、分片数（即partition，通过内部Hash处理，可将数据进行分片存储到不同的节点上，...
CREATE TABLE
数据分片示意图 基本用法：每个表 只能有一个分布键。一个分布键可以包含一个列或者多个列。分布键中的列，必须包含在主键中。例如，分布键为customerid，那么主键也需要包含customerid。注意事项：创建表时未定义分布键，系统会根据表是否...
集群版-双副本
实例规格 实例规格导航：2分片、4分片、8分片、16分片、32分片、48分片、64分片、96分片、128分片 和 256分片。2分片 该系列实例规格的 分片数 为2，CPU核数均为4（每个分片的CPU为2核），每秒新建连接数上限均为20,000。规格 ...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
选型介绍
类型 目前阿里云图计算引擎支持三种独享分片规格购买：...分片数 目前图计算引擎iGraph默认支持多分片，将海量数据索引进行hash分列，可以方便存储到固定存储的分片上。具体的分片计算公式，如下：分片数=存储量GB/每个分片规格的磁盘量/2；
使用限制
将ECS上分片集群架构的自建MongoDB迁移上云 使用DTS迁移分片集群架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至分片集群实例 第三方云数据库迁移至云数据库MongoDB。使用NimoShake将Amazon DynamoDB迁移至阿里云 使用...
- 产品推荐
- 这些文档可能帮助您