创建数据库和集合并写入数据
本文以DMS（Data Management Service）为例，介绍如何在云数据库MongoDB中创建数据库和集合并写入数据。前提条件 已完成快速入门的如下步骤：创建副本集实例（可选）重置密码 设置白名单 通过DMS连接MongoDB副本集实例（可选）创建数据库...
创建数据库和集合并写入数据
本文以DMS（Data Management Service）为例，介绍如何在云数据库MongoDB中创建数据库和集合并写入数据。前提条件 已完成快速入门的如下步骤：创建单节点实例（可选）重置密码 设置白名单 通过DMS连接MongoDB单节点实例（可选）创建数据库...
创建数据库和集合并写入数据
本文以DMS（Data Management Service）为例，介绍如何在云数据库MongoDB中创建数据库和集合并写入数据。前提条件 已完成快速入门的如下步骤：创建分片集群实例（可选）重置密码 设置白名单 通过DMS连接MongoDB分片集群实例（可选）创建数据...
Quick BI数据准备中的合并组件是UNION ALL
概述 Quick BI数据准备中的合并组件是UNION ALL。详细信息 Quick BI数据准备中的合并组件是UNION ALL 适用于 Quick BI
查看合并记录
在 OceanBase 管理控制台对实例发起数据合并操作后，您可以进入实例工作台查看该实例的数据合并记录。前提条件 已对集群实例发起数据合并操作。发起数据合并的操作，详见 发起合并。操作步骤 查看数据合并记录时，涉及如下两种操作场景：...
数据合并
本页面为您介绍数据合并的操作步骤。背景信息 OceanBase 数据库的存储引擎基于 LSM-Tree 架构，将数据分为静态基线数据（放在 SSTable 中）和动态增量数据（放在 MemTable 中）两部分，其中 SSTable 是只读的，一旦生成就不再被修改，存储...
修改合并时间
本页面为您介绍对集群实例或 Serverless 实例执行修改合并...在 集群工作台 页面，单击 数据合并 右侧的 操作。单击 修改合并时间，可修改每日自动合并的时间。默认每天 02:00 会发起数据合并。设置 新数据合并时间 后，单击 确定 提交修改。
发起合并
本页面为您介绍数据合并的操作步骤。背景信息 OceanBase 数据库的存储引擎基于 LSM-Tree 架构，将数据分为静态基线数据（放在 SSTable 中）和动态增量数据（放在 MemTable 中）两部分，其中 SSTable 是只读的，一旦生成就不再被修改，存储...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
SQL 路由
执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问代理执行 SQL 语句时的路由原理以及数据合并。有关数据访问代理的数据拆分原理，请参考文档 分库分表。拆分键 分库分表过程中，...
集群实例工作台
单击数据合并后的 操作，可发起数据合并、查看数据合并记录、设置新的数据合并时间。说明 当创建了备实例的主集群实例发起数据合并操作时，备实例会自动同步发起数据合并。V 4.0 及之后版本的集群，单击数据合并后的 操作，仅支持发起数据...
租户工作台
单击数据合并后的 操作，可发起数据合并、查看数据合并记录。说明 仅 V4.0 及之后版本的集群支持租户级的数据合并。备注 单击编辑图标，添加备注，备注长度不能超过 30 个字符。在性能监控区域，可查看每秒读/写请求数量和读/写请求响应...
COALESCE PARTITION
本文档介绍了减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他分区和子分区中的方法。语法 ALTER TABLE…COALESCE PARTITION 命令用于减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他...
基本操作
Transaction Table2.0 支持更多能力，同时在DDL，DML和DQL以及数据管理上都...DDL操作 表操作 分区和列操作 CLONE TABLE 数据写入 SQL写入 Flink近实时写入 数据查询：Time travel查询与Incremental查询 数据合并：COMPACTION 数据备份与恢复
批量数据合并
本文为您介绍批量数据合并组件。功能说明 批量数据合并组件是将两个输入的数据按照指定的索引进行合并。计算逻辑原理 内连接：使用两个数据中索引列的交集，类似于SQL内部连接。外连接：使用两个数据中索引列的并集（外连接合并时可能会...
DataFrame概述
数据合并：本文向您介绍DataFrame支持的数据表的JOIN操作、UNION操作等数据合并操作。窗口函数：本文为您介绍DataFrame API支持使用窗口函数。绘图：本文为您介绍PyODPS DataFrame提供的绘图方法。调试指南：由于PyODPS DataFrame本身会对...
设置 Serverless 实例备份策略
避免将时间设置在数据合并窗口期内（即数据合并时间前后一小时），否则将导致备份任务延迟。数据备份保留天数 Serverless 实例的备份数据默认保留 2 天，支持保留 2-365 天。数据备份类型 当前仅支持全量备份。日志备份 备份策略配置成功且...
多行数据合并为一行数据
本文为您介绍，如何使用SQL实现多行数据合并为一行数据。示例数据 class gender name 1 M LiLei 1 F HanMM 1 M Jim 1 F HanMM 2 F Kate 2 M Peter 使用示例 示例1：将 class 相同的 name 合并为一行，并对 name 去重。去重操作可通过嵌套子...
管理 Serverless 实例
数据合并 单击 操作 并选择 修改合并时间，可以修改该 Serverless 实例的数据合并时间。在性能监控区域，可查看 Serverless 实例最近一小时的 QPS、查询响应时间、OCU 和存储占用量的监控数据。单击监控下钻图标 可查看监控项的细分指标。...
合并行（UNION）
Designer 仅支持通过可视化方式进行数据合并。参数 描述 左表输出列 进行联合操作时，左右表选择的列数需相同，对应列的类型需保证一致。输入左表的where条件 通过where条件实现数据过滤，与SQL类似，例如 age>40。说明 仅支持以下操作符：...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
TDE 透明加密
本页面为您介绍 TDE（Transparent Data ...在集群实例工作台页面手动触发一次数据合并，详情请参见 数据合并。待数据合并完成后，再将参数 progressive_merge_num 的值设置为 0。obclient>ALTER TABLE t1 set progressive_merge_num=0;
集群数据盘使用率告警
数据合并转储的临时数据。处理方法 打开 租户管理 页面，查看租户的 已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like '...
使用批量更新
本文介绍了 AnalyticDB PostgreSQL版 中数据合并的方法和背后的原理，进而介绍如何使用批量操作，快速地更新数据。更新，又称为合并（Merge），指把数据最新版本更新到 AnalyticDB PostgreSQL版 中。如果数据已经存在，则将它们替换为新...
查看监控信息
Row/s 数据合并 Compaction Score 所选中集群数据文件的合并压力，Score越大，进行合并计算的压力越大。大于 2000 后会触发写入反压，数据合并压力大的表会出现数据写入失败。无 失效节点数 当前集群失效节点的个数。个 缓存命中率 缓存...
配置备份策略
避免将时间设置在数据合并窗口期内（即数据合并时间前后一小时），将导致备份任务延迟。数据备份保留天数 7 天 备份数据默认保留 7 天，最多支持保留 720 天。说明 数据恢复一般依赖恢复时间点前最近的一次数据备份和之间的日志备份。为了...
监控告警
Row/s 数据合并 Compaction Score 数据文件的合并压力，Score越大，进行合并计算的压力越大。无 连接数 显示当前实例的会话数，不区分集群。个 失效节点数 显示当前集群失效节点的个数。个 缓存命中率 缓存读写操作占所有读写操作的百分比...
备份策略
避免将时间设置在数据合并窗口期内（即数据合并时间前后一小时），否则将导致备份任务延迟。数据备份保留天数 7 天 备份数据默认保留 7 天，支持保留 2-365 天。说明 数据恢复一般依赖恢复时间点前最近的一次数据备份和之间的日志备份。...
ODPS-0123031
2）您可以合并历史分区数据，例如把历史一个的数据合并成一个分区，详情可以参考 合并分区。3）您可以通过拆表，把历史分区数据备份到备份表，把历史分区从当前表删除，请参考 删除分区。错误2：a single instance cannot output data to ...
数据组织优化
超过一定时间跨度的文件也不会合并，因为时间跨度太大的数据合并在一起的话，当Time travel或者增量查询时，可能会读取大量不属于此次查询时间范围的历史数据，造成不必要的读放大问题。由于数据是按照 BucketIndex 来切分存储的，因此...
X-Engine简介
通过数据复用技术减少数据合并代价，同时减少缓存淘汰带来的性能抖动。使用多事务处理队列和流水线处理技术，减少线程上下文切换代价，并计算每个阶段任务量配比，使整个流水线充分流转，极大提升事务处理性能。相对于其他类似架构的存储...
算子介绍
该算子通常有2个或更多个输入，表示将多个输入的数据合并在一起。例如：explain select*From sbtest1 where id>1000 union distinct select*From sbtest1 where id;返回信息如下：UnionDistinct(concurrent=true)Gather(concurrent=true)...
多表连接
计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 多表连接算子必须指定2个或者2个以上的 来源节点（又称为输入节点，每个来源节点可视为一张表），以求取这些来源节点数据合并的...
数据加工
本文为您介绍数据合并、清洗加工、聚合、转置、关联等数据加工操作。前提条件 已完成数据输入的配置，请参见 输入数据。合并 合并用于将两张表合并为一张表，合并的数据在行上扩展。合并节点用于将数据输入1节点和数据输入2节点中，名称...
一键MaxCompute Merge任务节点问题排查方案
Merge任务运行 Merge任务执行时，会对每张同步表生成一个SQL子任务，读取log表中该表的增量数据，合并该表前一日分区的全量数据，输出截止前一日全量分区数据。Merge任务的SQL子任务内部以并发方式执行，子任务如果有执行失败，符合条件的...
附录：消息格式
{"id":222,"name":"donald","binData":"[base64 string]","ts":1590315269000,"rowid":"AAIUMPAAFAACxExAAE"/字符串类型,Oracle的rowid信息 } },"sequenceId":"XXX",/字符串类型，用于增全量数据合并的数据排序,"scn":"xxxx",/字符串类型,...
OSS Load
[PRECEDING FILTER predicate][SET(column_mapping)][WHERE predicate][DELETE ON expr][ORDER BY source_sequence][PROPERTIES("key1"="value1",.)]参数名称 参数说明[MERGE|APPEND|DELETE]数据合并类型，默认为 APPEND，表示本次导入是...
区域热力层（v1.x版本）
根据需要自定义区域边界，如中国内地可以分为东部地区、西部地区、华南地区、华北地区、华中地区五大区，可以根据对应包含的省级边界数据合并得到。数据应用。将提取到的数据配置到DataV中，配置方法如下。选择 区域热力层>数据>地理边界...
Oracle永久增量备份
合成数据：通过SQL命令 RMAN RECOVER COPY OF DATABASE WITH TAG 'DBS专属TAG'，读取上个步骤中的增量备份数据，并将其与全量备份数据合并，将合成的结果写入（覆盖）到全量备份数据中。说明 合并后的备份集不会影响上一次的全量备份集。卸...
从RDS同步至MaxCompute
全量数据合并示例 执行数据同步的操作后，DTS会在MaxCompute中分别创建该表的全量基线表和增量日志表。您可以通过MaxCompute的SQL命令，对这两个表执行合并操作，得到某个时间点的全量数据。本案例以customer表为例（表结构如下），介绍...
- 产品推荐
- 这些文档可能帮助您