数据拆分
一、组件说明 在联邦学习任务中，数据拆分是将一份原始数据集分成训练集和测试集两个部分的过程。拆分数据集的目的是为了在训练模型时能够使用独立的数据集来评估模型的性能和泛化能力。训练集是模型用来学习的数据集，可以用于训练模型并...
基础术语
集群任务 Cluster task 支持在单个执行步骤中把数据拆分成多个数据分片（data chunk），把一个任务的数据分散到不同的机器上运行。适用于数据量很大的业务场景。调度过程分为拆分阶段和执行阶段。任务拓扑 Topology 由许多通过事件触发的...
分库分表
数据拆分 数据库访问代理支持库级拆分，表级拆分和分库分表拆分，通过数据库访问代理 DDL 语句指定，具体操作参见 DDL 语法。数据访问代理根据指定拆分键的值，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分库/分表中。...
SQL 路由
有关数据访问代理的数据拆分原理，请参考文档 分库分表。拆分键 分库分表过程中，数据访问代理按照指定的拆分键，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分表中。拆分键是数据访问代理中数据分布和 SQL 路由的凭证。...
Binlog日志服务
多流服务不是默认开通的，需通过控制台手动开通，对于同一个 PolarDB-X 实例，可支持同时开通多个多流服务，每个多流服务中支持多个流，不同服务之间是完全隔离的，可设置不同的拆分数量、不同的数据拆分级别、不同的参数规则等，可根据...
应用场景
数据访问代理提供灵活的数据拆分机制，代码侵入性低，可以非常方便地实现数据的水平拆分与扩容，从而从根本上解决数据库单机瓶颈的问题。金融级数据容灾 基于蚂蚁金服内部多年的金融级数据容灾场景，数据访问代理针对不同业务场景提供了...
步骤一：架构规划
应用名 Zone 类型 txnflow RZone acccenter RZone pointcenter RZone 数据拆分 在本教程中，uid 格式如：08006660000*，按照 uid 进行 10 库 10 表拆分。使用的中间件 中间件 配置信息 备注 消息队列 TopicGroupID 创建 topic、groupid 和...
产品概述
PolarDB-X 1.0 将数据拆分到多个MySQL存储，使每个MySQL承担合适的并发、数据存储和计算负载，各个MySQL处于稳定状态。在 PolarDB-X 1.0 层面DB-X计算层面实现分布式逻辑，最终得到一个具有稳定可靠、高度扩展性的分布式关系型数据库系统。...
逻辑订阅
RDS PostgreSQL提供逻辑订阅功能，支持在多个RDS PostgreSQL实例之间实现准实时表级单向同步，可以用于数据共享、数据汇总、数据拆分等业务场景。如果您在全国多个地域部署业务，可以通过逻辑订阅共享数据，例如将中心数据共享给其他地域，...
ActionTrail日志清洗
理论上可以分析上述格式的JSON数据，但非常不便，需要先把每行数据拆分成多条记录，然后再对拆分后的记录进行分析。小文件多，分析数据耗时且占用大量系统资源 当您通过账号（阿里云账号和RAM子账号）频繁操作云产品时，每天产生的操作日志...
如何分析数据分布不均衡
分区级数据倾斜 对于 PolarDB-X 的分区表来说，支持更灵活的数据拆分方式，即LIST、HASH或RANGE分区，以及灵活的分区分裂、合并、迁移。对于分区表来说，同样支持通过 show table info from$TABLE 命令查询每个分表的物理大小。除此之外，...
公共规范
数据拆分 数据的水平和垂直拆分是按照访问热度分布和数据表非空数据值、零数据值在行列二维空间上分布情况进行划分的。在物理上划分核心模型和扩展模型，将其字段进行垂直划分。将访问相关度较高的列在一个表存储，将访问相关度较低的字段...
基本概念
分区表 分区表，又称普通表，根据分布键将表的数据拆分为多个分片，分片分散在各个存储节点上。再根据分区键，将每个分片拆分为不同的分区。分区表能够利用分布式系统的查询优势，查询效率高。分区表可存储的数据量较大，通常可以存储千万...
T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
术语表
内核术语 名词 描述 分布式表 按照一定的拆分规则根据拆分键将一张表中的数据拆分到多个数据库与数据表中。广播表 广播表不做拆分，且所在数据库的所有数据节点均具有该表的副本。单表 没有做拆分的表为单表。数据库模式 创建数据库时通过...
条形图
自定义分组 打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 打开开关，数据拆分后，可自定义...
单元化介绍
单元化 多地多机房部署，是互联网系统的必然发展方向，一个系统要走到这一步，也就必然要解决上面提到的问题：流量调配、数据拆分、延时等。业界有很多技术方案可以用来解决这些问题，而承载这些方案的，是一个部署架构。尽管可采用的部署...
主题（Topic）
主题的作用主要如下：定义数据的分类隔离 在 云消息队列 RocketMQ 版 的方案设计中，建议将不同业务类型的数据拆分到不同的主题中管理，通过主题实现存储的隔离性和订阅隔离性。定义数据的身份和权限 云消息队列 RocketMQ 版 的消息本身是...
柱状图
自定义分组 打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 数据拆分后，可自定义设置同一...
DQL操作常见问题
如何将一行数据拆分为多行数据？在客户端的odps_config.ini文件中设置use_instance_tunnel=false，instance_tunnel_max_record=10，为什么Select还是能输出很多记录？如何用正则表达式判断字段是否为中文？在执行MaxCompute SQL过程中，报...
柱状图
自定义分组 打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 数据拆分后，可自定义设置同一...
条形图
自定义分组 打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 打开开关，数据拆分后，可自定义...
离线同步并发和限流之间的关系
关系数据库（如MySQL、Polardb、SQLServer、PostgreSQL、Oracle等等）读取，没有配置切分键splitPk（切分列支持整型数字类型，Oracle在整型之外额外支持时间类型）或切分键配置无效，导致任务无法将数据表数据拆分，进而无法并行数据读取。...
V5.1.x系列实例版本说明
V5.1.24-826 日期 2016.05.24 类别 说明 新增特性 数据拆分列的字段类型增加支持BigDecimal类型。支持Now(3)、Now(2)、Now(1)函数。增加只读账户OpenAPI。增加修复RDS后端链接功能。优化性能 VPC实例显示VPC地址。修复问题 修复高并发访问 ...
Quick BI告警监控项提示“维度拆分数据，暂不支持预览...
问题描述 Quick BI告警监控项提示“维度拆分数据，暂不支持预览”：问题原因 告警条件中维度值选择了多个导致，这个不影响告警信息的发送。解决方案 将监控的维度值保留一个即可。适用于 Quick BI
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
过滤待迁移数据
该功能可应用于数据的定期迁移、拆分数据表等多种应用场景。功能限制 仅支持过滤当前表的字段，不支持跨表过滤。如有需要，您可以在多个表中分别填写过滤条件。操作步骤 说明 新版控制台的操作步骤，请参见 设置过滤条件。配置数据迁移任务...
什么是数据库代理
如果您的主实例因连接数过多导致负载较高，或因业务需求要进行读写分离，可以使用RDS PostgreSQL数据库代理功能，该功能支持读写分离、事务拆分等能力，能够有效降低主实例访问压力，具有高可用、高性能、可运维、简单易用等特点。数据库...
API概览
DescribeDrdsShardingDbs 该接口用于查询 PolarDB-X 1.0 下水平拆分数据库。DescribeDrdsDB 该接口用于查询实例下的目标数据库详情。DescribeDrdsDBs 该接口用于查询 PolarDB-X 1.0 实例下所有数据库信息。存储管理 API 描述 ...
SQL 条件过滤数据
该功能适用于数据的定期同步或迁移、拆分数据表、过滤历史数据和脏数据等多种应用场景。使用限制 通过 SQL 条件过滤数据时，仅支持过滤当前表的字段，不支持跨表过滤。SQL 条件过滤数据的作用范围为全量迁移/全量同步和增量同步。SQL 条件...
什么是数据库代理
事务拆分 数据库代理默认开启事务拆分功能，能够将事务内写操作之前的读请求转发到只读实例，降低主实例负载。更多信息，请参见 设置事务拆分。连接池 有效解决连接数过多或短连接业务（例如PHP）频繁建立新连接导致实例负载过高的问题。更...
通过SQL条件过滤任务数据
该功能可应用于数据的定期同步或迁移、拆分数据表等多种应用场景。前提条件 说明 新版控制台的操作步骤，请参见 通过SQL条件过滤任务数据。已启动任务配置，并处于 配置任务对象及高级配置 环节。关于如何启动任务配置，请参见 配置同步...
RDS SQL Server I/O高问题
实例I/O过高时，容易影响查询性能。本文介绍查看I/O吞吐情况的方式以及如何排查I/O高...如果调整备份时间无法避免全量备份操作和业务的冲突，建议升级实例的磁盘性能等级，或者拆分数据，减少单个实例上的数据量，缩短全量备份所需的时间。
X-Engine简介
对性能影响比较大的Compaction过程做了大量优化：拆分数据存储粒度，利用数据更新热点较为集中的特征，尽可能的在合并过程中复用数据。精细化控制LSM的形状，减少I/O和计算代价，有效缓解了合并过程中的空间增大。同时使用更细粒度的访问...
数据集拆分
功能说明 数据集拆分组件可以根据拆分比例对输入数据集做拆分处理，输出两个变量名称相同但数据量不同的数据集。可使用数据集拆分组件将数据集拆分为两份以适用于不同的场景。支持随机拆分和前后拆分两种方式。计算逻辑原理 随机拆分：按照...
概述
集群任务允许用户自己对数据进行拆分，将待处理数据拆分成一个个索引块，业务集群中的每台机器都会分配到数据进行处理，使用灵活，并可以监控任务的执行情况。金融行业日切 金融行业的日切是一个很复杂的操作，需要多个任务按照指定顺序...
设置数据分片以充分利用Shard性能
分片策略介绍 分片策略 说明 适用场景 基于范围的分片 MongoDB按照片键的值的范围将数据拆分为不同的块（chunk），每个块包含了一段范围内的数据。优点：mongos可以快速定位请求需要的数据，并将请求转发到相应的Shard节点中。缺点：可能...
使用拆分字段
拆分字段即分库/分表字段，是在水平拆分过程中用于生成拆分规则的数据表字段。数据访问代理会根据拆分字段的值将数据表水平拆分到每个物理库实例上的物理分库/分表中。拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在...
数据迁移流程
适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。您已为源...
- 产品推荐
- 这些文档可能帮助您