合并列
合并列算法组件是将两张表的数据按列合并，需要表的行数保持一致，否则报错。如果两张表只有一张存在分区，则分区表需要连接第二个输入端口。组件配置 您可以使用以下任意一种方式，配置合并列组件参数。方式一：可视化方式 选取左表待合并...
查看合并记录
在 OceanBase 管理控制台对实例发起数据合并操作后，您可以进入实例工作台查看该实例的数据合并记录。前提条件 已对集群实例发起数据合并操作。发起数据合并的操作，详见 发起合并。操作步骤 查看数据合并记录时，涉及如下两种操作场景：...
Hudi概述
最新写入的增量数据存放至行式文件中，根据可配置的策略执行COMPACTION操作合并增量数据至列式文件中。针对不同表类型的差异点如下表所示。Trade-off Copy On Write Merge On Read Data Latency 高 低 Query Latency 低 高 Update cost(I/O...
图表附录
Ant Design 的表格组件做的封装，样式上支持如下配置：表头样式配置 合并多级表头，二级以上表头顺序调整 固定表头 列样式配置 列排序 列样式条件判断 左、右固定列 行大小与边框 自动合并相同内容 分页 使用原始数据 其中列样式条件判断...
数据合并
本页面为您介绍数据合并的操作步骤。背景信息 OceanBase 数据库的存储引擎基于 LSM-Tree 架构，将数据分为静态基线数据（放在 SSTable 中）和动态增量数据（放在 MemTable 中）两部分，其中 SSTable 是只读的，一旦生成就不再被修改，存储...
修改合并时间
本页面为您介绍对集群实例或 Serverless 实例执行修改合并...在 集群工作台 页面，单击 数据合并 右侧的 操作。单击 修改合并时间，可修改每日自动合并的时间。默认每天 02:00 会发起数据合并。设置 新数据合并时间 后，单击 确定 提交修改。
发起合并
本页面为您介绍数据合并的操作步骤。背景信息 OceanBase 数据库的存储引擎基于 LSM-Tree 架构，将数据分为静态基线数据（放在 SSTable 中）和动态增量数据（放在 MemTable 中）两部分，其中 SSTable 是只读的，一旦生成就不再被修改，存储...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
DescribeColumns-查询数据资产表中列的数据
接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 DescribeColumnsV2。建议您在开发应用程序时使用较新的版本 DescribeColumnsV2。QPS 限制 本接口的...
DescribeColumnsV2-查询数据资产表中列的数据V2
说明 根据资产表中列数据命中的敏感数据识别规则的 ID，查询数据安全中心连接授权的数据资产表中列的数据，敏感数据识别规则 ID 可调用 DescribeRules 接口获取。11122200 ProductCode string 否 数据资产表中列数据所属产品名称。取值：...
INSERT SELECT FROM
参数 column_name：列名，如果需要将源表中的部分列数据插入到目标表中，SELECT子句中的列必须与INSERT子句中列的顺序、数据类型一致。query：可以是 SELECT FROM TABLE 或者 SELECT FROM VIEW。示例 以指定列名的方式，从CUSTOMER表中复制...
租户工作台
单击数据合并后的 操作，可发起数据合并、查看数据合并记录。说明 仅 V4.0 及之后版本的集群支持租户级的数据合并。备注 单击编辑图标，添加备注，备注长度不能超过 30 个字符。在性能监控区域，可查看每秒读/写请求数量和读/写请求响应...
REPLACE SELECT FROM
column_name：列名，如果需要将源表中的部分列数据插入到目标表中，SELECT 子句中的列必须与 REPLACE 子句中列的顺序、数据类型一致。注意事项 执行 REPLACE SELECT FROM 命令时，需先创建待写入数据的目标表。示例 以指定列名的方式，从...
INSERT SELECT FROM（2.0版）
示例 提供列名的方式，从ORDER表中复制某几列数据到新订购表NEW_ORDER中。INSERT INTO new_order(customer_id,order_id,order_time,order_amount,order_type,address,city,order_season)SELECT customer_id,order_id,order_time,order_...
设置 Serverless 实例备份策略
避免将时间设置在数据合并窗口期内（即数据合并时间前后一小时），否则将导致备份任务延迟。数据备份保留天数 Serverless 实例的备份数据默认保留 2 天，支持保留 2-365 天。数据备份类型 当前仅支持全量备份。日志备份 备份策略配置成功且...
功能介绍
是否只包含主键数据"data":[{"type":<type>/列数据类型"name":<name>/列名"ts":<version>/数据版本，如果没有该值，取默认版本（ts）的值作为版本"value":<value>/值，如果没有该值，则表中值为null },{"type":<type>/列数据类型...
数据加工
本文为您介绍数据合并、清洗加工、聚合、转置、关联等数据加工操作。前提条件 已完成数据输入的配置，请参见 输入数据。合并 合并用于将两张表合并为一张表，合并的数据在行上扩展。合并节点用于将数据输入1节点和数据输入2节点中，名称...
多行数据合并为一行数据
本文为您介绍，如何使用SQL实现多行数据合并为一行数据。示例数据 class gender name 1 M LiLei 1 F HanMM 1 M Jim 1 F HanMM 2 F Kate 2 M Peter 使用示例 示例1：将 class 相同的 name 合并为一行，并对 name 去重。去重操作可通过嵌套子...
管理 Serverless 实例
数据合并 单击 操作 并选择 修改合并时间，可以修改该 Serverless 实例的数据合并时间。在性能监控区域，可查看 Serverless 实例最近一小时的 QPS、查询响应时间、OCU 和存储占用量的监控数据。单击监控下钻图标 可查看监控项的细分指标。...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
pg_opclass
一个操作符类实际上指定了一个特定的操作符族可以用于一个特定可索引列数据类型。该族中可用于索引列的操作符能够接受该列的数据类型作为它们的左输入。列名称 列类型 描述 oid oid 行标识符。opcmethod oid 操作符类所属的索引访问方法。...
CREATE TABLE AS SELECT（CTAS）
示例1 从 customer 表读取所有列数据，并将数据写入新表 new_customer。新表 new_customer 的列名称、列数据类型与 customer 表相同。示例语句如下：CREATE TABLE new_customer AS SELECT*FROM customer;示例2 从 customer 表读取 customer...
集群数据盘使用率告警
数据合并转储的临时数据。处理方法 打开 租户管理 页面，查看租户的 已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like '...
概述
脱敏失效示例：已创建了一条需要对 name 列数据进行脱敏的规则，当执行 SELECT hobby FROM person UNION SELECT name FROM person 语句进行查询时，应用程序仍然能够读取到 name 的原始值。使用方法 详情请参见 管理脱敏规则。附录：性能...
配置备份策略
避免将时间设置在数据合并窗口期内（即数据合并时间前后一小时），将导致备份任务延迟。数据备份保留天数 7 天 备份数据默认保留 7 天，最多支持保留 720 天。说明 数据恢复一般依赖恢复时间点前最近的一次数据备份和之间的日志备份。为了...
DBMS_REDACT
custom_function_expression是一个函数表达式，即具有参数的模式限定函数，例如，schema_name.function_name(argument1,…)允许您使用其脱敏逻辑来脱敏列数据。ALTER_POLICY ALTER_POLICY将修改表的现有数据脱敏策略。ALTER_POLICY...
查看监控信息
Row/s 数据合并 Compaction Score 所选中集群数据文件的合并压力，Score越大，进行合并计算的压力越大。大于 2000 后会触发写入反压，数据合并压力大的表会出现数据写入失败。无 失效节点数 当前集群失效节点的个数。个 缓存命中率 缓存...
使用LOAD DATA语句导入数据
例如，某一列数据为"test"，定义 enclosed by '"' 后，导入数据时先将"test"前后的"移除，然后再导入数据。[LINES]TERMINATED BY 'string' 定义行分隔符，默认为。IGNORE number LINES 导入数据时忽略开始的某几行。例如，IGNORE 1 LINES，...
概述
列式存储 Kudu是一种列数据储存结构，同一列的数据被存储在底层存储的相邻位置。表（Table）数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性，且可以划分为多个Tablet。分片（Tablet）一个表可以被分到若干个分片中，称为...
插入数据
数据识别方式 您可以通过明文或者编码方式向向量列写入数据或者查询向量列数据。注意：必须使用单引号将数据引用起来，数据的维数与 定义向量列 时指定的维度相同。明文：'[1,2,3,4]' 或者 '{1.0,2.0,3.0,4.0}' Base64编码：'MTIzNA=' 以下...
SET LABEL
MaxCompute支持在项目级别为用户设置访问许可等级标签，为表或表的列设置敏感等级标签（Label），用户仅可以访问MaxCompute项目中敏感等级小于等于自身访问许可等级的表或列数据。背景信息 Label权限控制即LabelSecurity，是项目级别的一种...
管理敏感数据
申请敏感列访问权限 说明 所有用户（包含管理员与DBA）在未申请敏感列数据权限前，均无法查询数据，需额外申请敏感列的权限才可查看。本示例以普通用户申请敏感列访问权限为例介绍。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 安全与规范...
监控告警
Row/s 数据合并 Compaction Score 数据文件的合并压力，Score越大，进行合并计算的压力越大。无 连接数 显示当前实例的会话数，不区分集群。个 失效节点数 显示当前集群失效节点的个数。个 缓存命中率 缓存读写操作占所有读写操作的百分比...
数据保护规则简介
在设置数据保护规则时，您需要保证 不同规则作用的数据范围是互斥的，即每列数据，仅能唯一匹配一条规则，否则全密态数据库无法确定如何选择规则，可能发生非预期的结果。users：用户访问数据权限的设定。各权限说明如下：说明 用户权限...
创建表
services,married,high.school,no,no,cellular,apr,fri,185,2,999,0,nonexistent,-1.8,93.075,-47.1,1.405,5099.1,0 您可以识别到数据列数、每列数据的数据类型，同时可以了解各列数据对应的含义，为每列数据定义一个列名称。假设基于示例...
通过LOAD DATA导入至数仓版
例如，某一列数据为"a"，定义 enclosed by '"' 后，导入数据时先将"a"前后的"移除，然后导入数据。[LINES]TERMINATED BY 'string' 定义行分隔符，默认为。IGNORE number LINES 设置导入数据时忽略开始的某几行。例如 IGNORE 1 LINES，导入...
查看敏感数据识别结果
您可以单击 操作 列的 详情，查看列画像和列数据。半结构化数据和非结构化数据不支持查看列详情。预览：在 预览 页签，单击 查看样本数据，可预览数据表的前5行样本数据。半结构化数据和非结构化数据不支持预览功能。查看数据库实例的识别...
2023年
2023-06-27 全部地域 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）新增列数据清空功能 MaxCompute支持用户清空指定表或者分区的列数据，节省存储空间。2023-06-27 全部地域 更新或删除数据（UPDATE|DELETE）新增Transaction Table2.0表...
管理敏感数据
当您需要调整敏感列的安全级别、脱敏算法、授予或回收指定用户查询、导出或变更敏感列数据的权限时，您可参考本文进行操作。前提条件 用户角色为管理员、DBA和安全管理员。说明 鼠标移动到界面右上角的，查看您的角色。支持的数据库：关系...
Label权限控制
MaxCompute支持在项目级别为用户设置访问许可等级标签，为表或表的列设置敏感等级标签（Label），用户仅可以访问MaxCompute项目中敏感等级小于等于自身访问许可等级的表或列数据。本文为您介绍Label授权操作并提供示例供参考。背景信息 ...
- 产品推荐
- 这些文档可能帮助您