数据拆分
一、组件说明 在联邦学习任务中，数据拆分是将一份原始数据集分成训练集和测试集两个部分的过程。拆分数据集的目的是为了在训练模型时能够使用独立的数据集来评估模型的性能和泛化能力。训练集是模型用来学习的数据集，可以用于训练模型并...
基础术语
集群任务 Cluster task 支持在单个执行步骤中把数据拆分成多个数据分片（data chunk），把一个任务的数据分散到不同的机器上运行。适用于数据量很大的业务场景。调度过程分为拆分阶段和执行阶段。任务拓扑 Topology 由许多通过事件触发的...
条形图
显示范围：Y轴的数据最小值和最大值的显示范围，仅在Y轴中 数据类型 配置项选择 数值型 时可配置。参数 说明 最小值 Y轴的最小值，支持自定义输入，也支持系统选择 数据最小值，取数据中的最小值。最大值 Y轴的最大值，支持自定义输入，也...
术语表
内核术语 名词 描述 分布式表 按照一定的拆分规则根据拆分键将一张表中的数据拆分到多个数据库与数据表中。广播表 广播表不做拆分，且所在数据库的所有数据节点均具有该表的副本。单表 没有做拆分的表为单表。数据库模式 创建数据库时通过...
柱状图
自定义分组 打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 数据拆分后，可自定义设置同一...
错误代码
设法消除分布式查询中的跨库JOIN，数据重排序等耗时操作，降低数据合并阶段的消耗。如果优化后的SQL语句仍然执行较慢，可以使用下面的Hint语法临时设置 PolarDB-X 1.0 的超时时间：/*TDDL:SOCKET_TIMEOUT=900000*/SELECT*FROM dual;其中 ...
错误码
ERR-CODE:[PXC-4102][ERR_ATOM_GET_CONNECTION_FAILED_KNOWN_REASON]Get connection for db '*' failed because wait millis 5000,active 0,maxActive 5 说明：PolarDB-X 计算节点获取数据节点连接时出错，错误原因已经在ERR-CODE消息中给...
版本发布说明
发布日期：2023-08-18 大版本：V5.4.17 小版本：16921956 类别 说明 新增&优化 创建AUTO模式数据库的语句中新增default_single=‘on’参数，表示此数据库默认创建单表而且自动打散各个DN。新增支持非事务场景下的跨库单表下推。新增私有...
使用拆分字段
拆分字段即分库/分表字段，是在水平拆分过程中用于生成拆分规则的数据表字段。数据访问代理会根据拆分字段的值将数据表水平拆分到每个物理库实例上的物理分库/分表中。拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在...
SQL 路由
有关数据访问代理的数据拆分原理，请参考文档 分库分表。拆分键 分库分表过程中，数据访问代理按照指定的拆分键，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分表中。拆分键是数据访问代理中数据分布和 SQL 路由的凭证。...
PolarDB-X 1.0拆分的基本原则是什么？
关于 PolarDB-X 1.0 的数据拆分的基本原则，请参见 如何选择拆分键。
配置LogHub（SLS）输入
高级配置 您可以在此设置是否拆分Logstore中的数据。如果选择 拆分，则需要设置 拆分规则。拆分规则：shardId%X=Y，表示shardId对X取余，其中shardId为分片任务ID，X表示分片总数，Y表示shardId任务执行的分片编号，值为[0,X-1]。例如...
数据集拆分
功能说明 数据集拆分组件可以根据拆分比例对输入数据集做拆分处理，输出两个变量名称相同但数据量不同的数据集。可使用数据集拆分组件将数据集拆分为两份以适用于不同的场景。支持随机拆分和前后拆分两种方式。计算逻辑原理 随机拆分：按照...
步骤一：架构规划
应用名 Zone 类型 txnflow RZone acccenter RZone pointcenter RZone 数据拆分 在本教程中，uid 格式如：08006660000*，按照 uid 进行 10 库 10 表拆分。使用的中间件 中间件 配置信息 备注 消息队列 TopicGroupID 创建 topic、groupid 和...
分库分表
数据拆分 数据库访问代理支持库级拆分，表级拆分和分库分表拆分，通过数据库访问代理 DDL 语句指定，具体操作参见 DDL 语法。数据访问代理根据指定拆分键的值，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分库/分表中。...
应用场景
数据访问代理提供灵活的数据拆分机制，代码侵入性低，可以非常方便地实现数据的水平拆分与扩容，从而从根本上解决数据库单机瓶颈的问题。金融级数据容灾 基于蚂蚁金服内部多年的金融级数据容灾场景，数据访问代理针对不同业务场景提供了...
条形图
显示范围：Y轴的数据最小值和最大值的显示范围，仅在Y轴中 数据类型 配置项选择 数值型 时可配置。参数 说明 最小值 Y轴的最小值，支持自定义输入，也支持系统选择 数据最小值，取数据中的最小值。最大值 Y轴的最大值，支持自定义输入，也...
柱状图
自定义分组 打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 数据拆分后，可自定义设置同一...
CreateDrdsDB
InstDbName.N.ShardDbName.N String 否["db1","db2"]参数表示对应RDS实例中需要垂直拆分的数据库列表，参数是一个符合JSON数组格式的字符串。该参数仅在垂直拆分时使用。返回数据 名称 类型 示例值 描述 Success Boolean true 请求结果。...
ALIYUN:DRDS:DrdsDB
无 InstDbName语法"InstDbName":[{"ShardDbName":List,"DbInstanceId":String }]InstDbName属性 属性名称 类型 必须 允许更新 描述 约束 ShardDbName List 是 否 RDS实例中需要垂直拆分的数据库列表。最多支持5个数据库。DbInstanceId ...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
编辑数据集
本文为您介绍在DataV中数据集管理面板内如何编辑已创建的数据集。背景信息 数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 ...
如何选择拆分键
背景信息 拆分键即分库或分表字段，是水平拆分过程中用于生成拆分规则的数据表字段。PolarDB-X 1.0 将拆分键值通过拆分函数计算得到一个计算结果，然后根据这个结果将数据分拆到 私有定制RDS 实例上。数据表拆分的首要原则是尽可能找到数据...
Catalog概述
跨Catalog查询数据 如果想在一个Catalog中查询其他Catalog中数据，可通过 catalog_name.db_name 或 catalog_name.db_name.table_name 的格式来引用目标数据。例如：在 default_catalog.olap_db 下查询 hive_catalog 中的 hive_table。...
主题（Topic）
主题的作用主要如下：定义数据的分类隔离 在 云消息队列 RocketMQ 版 的方案设计中，建议将不同业务类型的数据拆分到不同的主题中管理，通过主题实现存储的隔离性和订阅隔离性。定义数据的身份和权限 云消息队列 RocketMQ 版 的消息本身是...
新建数据字典
背景信息 数据字典（data dictionary）：即设计的数据模型中数据对象的描述信息的集合。创建好数据字典后，可以用来规范数据元、指标、维度等的值域范围。例如：我们把“研究生”、“本科”、”高中“、”小学“等这类词统一用“教育水平”...
新建数据字典
背景信息 数据字典（data dictionary）：即设计的数据模型中数据对象的描述信息的集合。创建好数据字典后，可以用来规范数据元、指标、维度等的值域范围。例如：我们把“研究生”、“本科”、”高中“、”小学“等这类词统一用“教育水平”...
添加数据集
本地上传：选择 本地上传 创建方式，可选择上传本地电脑中的一个Excel表格中数据内容。说明 本地上传.xls 或.xlsx 两种格式的Excel表格文件。单击下方 点击选择文件，在本地电脑上选择一个已有的Excel文件。单击页面右下角的 下一步。选择...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
基于OSS外表的单表多文件查询
请保证在该语法中配置的数据文件路径与 拆分文件 中上传到OSS上的数据文件路径一致。参数说明如下表所示：参数名称 参数类型 参数说明 server_name 字符串 OSS server名称。说明 该参数为全局参数，且全局唯一。该参数不区分大小写，最大...
管理数据库资产
修改数据库 已添加到数据库审计系统中数据库配置发生变化时，您需要在数据库审计系统中更新数据库信息。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 资产>资产管理。定位到要编辑的数据库，单击 修改。...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
全局二级索引
全局二级索引（Global Secondary Index，GSI）是 PolarDB-X 中的一项重要特性，相比于本地二级索引，全局二级索引中的数据按照指定的拆分方式分布在各个存储节点上。通过全局二级索引，用户能够按需增加拆分维度、提供全局唯一约束等。每个...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
变更表类型及拆分规则（DRDS模式）
示例 假设已使用如下语句在 PolarDB-X 数据库中创建了一张拆分表 t_order（根据 order_id 列进行库级拆分）：CREATE TABLE t_order(`id` bigint(11)NOT NULL AUTO_INCREMENT,`order_id` varchar(20)DEFAULT NULL,`buyer_id` varchar(20)...
概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性。例如，现有注册表和登录表两张表，注册表中存储了会员ID，字段名为 user_id，登录表中也存储了会员ID，字段名为 userid，此时针对会员...
什么是数据库代理
如果您的主实例因连接数过多导致负载较高，或因业务需求要进行读写分离，可以使用RDS PostgreSQL数据库代理功能，该功能支持读写分离、事务拆分等能力，能够有效降低主实例访问压力，具有高可用、高性能、可运维、简单易用等特点。数据库...
概述
数据解密 在数据解密过程中，高性能版Spark全密态计算引擎会从应用配置中提取用户主密钥（MEK），再从文件的元数据中提取密钥加密密钥（KEK）以及数据密钥（DEK）。密钥加密密钥（KEK）会使用户主密钥（MEK）进行解密，若用户主密钥（MEK）...
- 产品推荐
- 这些文档可能帮助您