发起合并
本页面为您介绍数据合并的操作步骤。背景信息 OceanBase 数据库的存储引擎基于 LSM-Tree 架构，将数据分为静态基线数据（放在 SSTable 中）和动态增量数据（放在 ...合并数据可能对数据库性能造成一定影响，建议避开流量高峰期进行操作。
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
MySQL分库分表同步至Hologres（方案1.0）
同时，为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的...
findOneAndUpdate
object):Promise请求参数 字段名 类型 是否必选 说明 filter Object 是 数据库操作时的查询条件。update Object 是 数据库操作时的替换对象。options Object 否 控制项。options 参数定义：字段名 类型 是否必选 说明 sort Object 否 排序...
字段值提取函数
本文介绍字段值提取函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对...
一键实时同步至Hologres
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
增强E-R
数据管理DMS 的增强E-R功能基于DMS自研的统一Catalog的元数据采集引擎、列算子血缘解析引擎（解析字段间关联、依赖和影响关系的引擎）和数据资产知识图谱构建等核心能力，可清晰地展现您名下某个数据库内资产之间的关联关系。本文介绍了...
使用时序查询剪枝功能
阿里云Elasticsearch使用时序查询剪枝功能 引入时序字段参与索引合并，合并过程中考虑了时间顺序和文件大小两个因素，时间相邻的数据会被合并在同一个段，提升数据连续性。查询时按时间范围对数据进行裁剪，查询性能提升了40%。说明 本文中...
数据倾斜诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据倾斜功能，可以每小时定期自动诊断数据库内的所有表，并生成相应的诊断信息表，供您检测库内所有表的倾斜情况。注意事项 智能诊断数据倾斜功能仅支持存储弹性模式实例，且内核版本须满足以下...
CreateOmsMysqlDataSource-创建 OMS MySQL 数据源
接口说明 注意 使用该接口需将 OceanBase 数据传输服务器的 IP 地址（请至 OMS 数据源添加页面查询）加入到您的阿里云数据库实例的白名单、ECS 的安全规则或自建数据库对应的安全设置（通常为您自建数据库的防火墙）中以确保 OceanBase ...
RDS/PolarDB 数据源配置分库分表
多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种情况的配置步骤大致相同，请参考下文进行配置。注意：无论是单库多表还是多库多表，分表...
RDS/PolarRDB 数据源配置分库分表
多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种情况的配置步骤大致相同，请参考下文进行配置。注意：无论是单库多表还是多库多表，分表...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
查看会话日志
在数据库审计系统查看会话日志 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>会话日志。选择资产名称、时间范围等检索条件后，单击 查询。单击 会话标识，可查看会话详情。在日志服务控制台查看...
配置目标库信息
例如A表中包含字段1、字段2和字段3，B表中包含字段3、字段4和字段5，对A表和B表通过做JOIN操作后，需要输出字段1、字段2、字段3、字段4和字段5，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段1、字段2、字段3、字段4和字段5。...
findOneAndDelete
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 指定排序的字段，并使用 1 和-1 来指定排序的方式。其中：...
Quick BI如何设置自动用字段备注作为字段名
问题描述 数据库的建表语句已经给字段加了备注名称，希望创建数据集时，可以直接用该备注名称作为字段名 解决方案 需要修改工作空间的配置信息，个人空间与群空间配置入口不一样。要确认数据集是在哪个工作空间创建的，然后进入相应工作...
图表管理
每一个图表均需要关联一个数据集，图表编辑器通过将数据集中的原始SQL语句与数据模型进行组合，生成新的SQL语句到数据库中执行，获取图表展示所需要的数据。图表功能流程图 编辑器介绍 序号 名称 说明 ① 数据模型展示区 在左上角选择了...
findOne
object):Promise请求参数 字段名 类型 必填 说明 query Object 否 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 skip Number 否 跳过的文档数量。sort Object 否 指定排序的字段，并使用 1...
配置流程
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
replaceOne
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的过滤条件。doc Object 是 替换的目标文档。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 upsert Boolean 否 如果查找不到对应文档...
通过Flink SQL模式配置ETL任务
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
横向虚拟关联
建模的数据输入分别位于己方和对方的数据库中，对字段进行匹配对齐。组件截图 二、参数说明 参数名称 参数说明 选择保留字段 选择参与方1和参与方2的匹配字段，用于后续横向建模。默认按字段名称（忽略大小写）自动匹配。字段别名默认使用...
数据合并
背景信息 OceanBase 数据库的存储引擎基于 LSM-Tree 架构，将数据分为静态基线数据（放在 SSTable 中）和动态增量数据（放在 MemTable 中）两部分，其中 SSTable 是只读的，一旦生成就不再被修改，存储于磁盘；MemTable 支持读写，存储于...
映射富化函数
函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。相关示例，请参见 使用e_dict_map、e_search_dict_map函数进行数据富化。e_table_map 与目标表格进行映射，...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
配置源库信息
实例列表 选择源库所在数据库实例的实例名称。您也可以单击下方的 新建实例 进行新建，新建方法请参见 实例管理。节点类型 选择节点类型。流表 维表 转换格式 当 节点类型 选择为 流表 时，需要选择转换格式。Upsert流 Append-Only流 库表...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
DELETE
dblink 用于标识远程数据库的 database link 名称。有关 database link 的信息，请参见 CREATE DATABASE LINK 命令。condition 一个值表达式，用于返回 BOOLEAN 类型的值，以确定要删除哪些行。return_expression 可能包括 table 中一列或...
数据消费格式
version：消息对应Lindorm数据库的版本号。db：源集群。namespace：表的namespace。table：表名。ts_ms：记录更新Lindorm的时间。schema 根据payload内容自动生成，对整个JSON的结构及所有字段类型进行说明。默认都包括schema信息。整个...
find
字段名 类型 必填 说明 query Object 否 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 limit Number 否 查询的文档数量限制，最大值和默认值均为500。skip Number 否 跳过的文档数量。sort...
配置数据计算和数据过滤
完成数据解析的源节点配置后，您可根据源节点的数据，配置字段和表达式，添加数据过滤的筛选器。通过解析生成多样化的数据，可用于后续分析或输出。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
UPDATE
dblink 用于标识远程数据库的 database link 名称。有关 database link 的信息，请参见 CREATE DATABASE LINK 命令。column 表中的列名。expression 要分配给列的表达式。表达式可以使用表中此列和其他列的旧值。DEFAULT 将列设置为其默认...
SAP HANA数据源
SAP HANA数据源为您提供读取和写入SAP HANA双向通道的功能，本文为您介绍DataWorks的SAP HANA数据同步的能力支持情况。使用限制 离线同步支持读取视图表。目前该数据源仅支持 独享数据集成资源组。支持的字段类型 SAP HANA Reader针对SAP ...
- 产品推荐
- 这些文档可能帮助您