Kafka数据源
Kafka记录数据模块 处理后的数据类型 key 取决于数据同步任务配置的 keyType 配置项，keyType 参数介绍请参见下文的全量参数说明章节。value 取决于数据同步任务配置的 valueType 配置项，valueType 参数介绍请参见下文的全量参数说明章节...
数据导入性能优化
数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，导致写入TPS不满足预期。解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据...
数据导入性能优化
数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，导致写入TPS不满足预期。解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据...
柱状图
数据 数据源的设置 设置数据源，图表所展示的数据都来自于当前数据源 数据源设置属于页面组件通用属性，关于该部分属性的更多信息，请参见 页面组件通用属性。X轴字段 X轴的数据显示的来源字段。Y轴字段 设置数据的显示，选择的一个属性就...
TCP-RT功能的配置说明
服务端收到请求后进行处理，完成处理后会向客户端发送两个响应的数据包 RspN-1 和 RspN-2，服务端发送第一个包的时间被记录为T2。客户端收到响应包后会发送确认信息ACK给服务器，服务端收到最后一个ACK的时间被记录为T3。TCP-RT基于以上的...
折线图
数据 数据源的设置 设置数据源，图表所展示的数据都来自于当前数据源。数据源设置属于页面组件通用属性，关于该部分属性的更多信息，请参见 页面组件通用属性。X轴字段 X轴的数据显示的来源字段。Y轴字段 设置数据的显示，支持多选，每选择...
配置数据质量监控
本案例通过DataWorks数据质量功能及时感知用户画像分析案例源端数据的变更与ETL（Extract Transformation Load）过程中产生的脏数据。基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志...
配置数据质量监控
本案例通过DataWorks数据质量功能及时感知用户画像分析案例源端数据的变更与ETL（Extract Transform Load）过程中产生的脏数据。基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志数据...
查看应用加速带宽监控信息
应用加速带宽包出流量监控 指应用向客户端发送返回数据时所发送的数据量。单位：Bytes。查看应用的应用加速带宽监控信息 在您添加了应用加速规则后，您可以查看每个应用的应用加速带宽信息。登录 智能接入网关管理控制台。在顶部菜单栏，...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
内存型
代理查询缓存 开启代理查询缓存功能（Proxy Query Cache）后，代理节点会缓存热点Key对应的请求和返回信息，当在有效时间内收到同样的请求时直接返回结果至客户端，无需和后端的数据分片交互。全球多活 Tair 全球多活是基于云数据库Redis自...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
查看性能评估报告
关于聚合的时间采集来源说明如下：源端执行时间：是直接来自于 SLS 的时间，OceanBase 数据库和迁移评估无法确保源端执行时间的真实性和采集算法。目标端执行时间：从 OceanBase 数据库的视图 oceanbase.v$sql_audit 中获取的数据。重要 ...
基本原理
下面详细介绍 SOFARegistry 的原理。...其包含的 4 个组件及其职责为：客户端（Client）：提供应用接入服务注册中心的基本 API 能力，可以是订阅方，也可以是发布方。...SessionServer 将获取到的数据发送给 Client 订阅端。
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
产品架构
说明 该图片来源于社区StarRocks的 系统架构。FE FE是StarRocks的前端节点，负责管理元数据、管理客户端连接、进行查询规划、查询调度等工作。每个FE节点都会在内存保留一份完整的元数据，这样每个FE节点都能够提供无差别的服务。FE根据...
MySQL一键实时同步至MaxCompute
同步时默认将源端数据表写入目标端同名表中，您可以通过添加映射规则定义最终写入目的端的表名称。本案例通过 源表名和目标表名转换规则，将源端 doc_前缀的表在写入目标端时替换为 ods_前缀。设置目标表。设置 写入模式。目前支持将增量...
MySQL一键实时同步至MaxCompute
同步时默认将源端数据表写入目标端同名表中，您可以通过添加映射规则定义最终写入目的端的表名称。本案例通过 源表名和目标表名转换规则，将源端 doc_前缀的表在写入目标端时替换为 ods_前缀。设置目标表。设置 写入模式。目前支持将增量...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
安全隧道通信协议
访问端发送创建Session的请求帧时，不需要传入该参数，物联网平台会根据收到的请求帧分配一个会话ID，并发送给设备端。其他类型的隧道帧，访问端和设备端均需要传递会话ID。frame_id Long 访问端或设备端发送通信数据时设置的帧ID，取值...
通过脚本模式配置离线同步任务
步骤二：配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试连通性。说明 支持同步源端分库分表数据至目标单表，详情请参见：场景：配置分库分表离线同步任务。若数据源与资源组网络不通，请...
Quick BI v5.0.2版本说明
HINT语句支持的数据源增加，新增MySQL（5.7、8.0）、AnalyticDB fo r MySQL 2.0、AnalyticDB for MySQL 3.0、PolarDB for MySQL数据源开放HINT语句入口。复杂表格填报&数据填报能力增强 电子表格支持移动端查看。复杂表格填报支持移动端...
异常处理
LindormTSDBException LindormTSDBException指服务器端异常，它来自于对服务器错误信息的解析。LindormTSDBException包含Lindorm时序引擎返回的错误码和错误信息，便于定位问题，并做出适当的处理。LindormTSDBException通常包含以下错误...
FTP客户端使用说明
本文介绍FTP的概念、工作方式以及通过FTP客户端连接云虚拟主机时的注意事项。...当使用PORT方式连接云虚拟主机时，必须在防火墙上打开1024以上的高端端口，保证建立数据链路时，云虚拟主机向FTP客户端发送的连接请求不会被防火墙拦截。
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
教程概述
本案例的原理如下：在设备端模拟两个字段，通过MQTT协议向阿里云物联网平台设备（高级版）发送数据。物联网平台接收到数据后通过规则引擎转发至DataHub。在DataHub中通过DataConnector将数据同步到RDS MySQL数据库中。使用DataV将RDS MySQL...
通过数据管理DMS客户端登录数据库
背景信息 使用数据管理DMS客户端登录数据库时，根据数据库录入情况选择以下不同的登录方式：如果您的数据库没有录入，具体操作，请参见 录入并登录数据库。如果您的数据库已录入，具体操作，请参见 登录已录入的数据库。录入并登录数据库 ...
执行增量 DDL 评估
目标端数据库类型 从下拉列表选择目标端的数据库类型，目前仅支持 OceanBase 数据库 MySQL 租户（简称 OBMySQL）。目标端数据库版本 从下拉列表选择目标端的数据库版本。DDL 内容 输入需要评估的 DDL 语句。说明 如果基于已有表进行调整，...
OceanBase 数据库之间的数据迁移
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。仅适用于 OceanBase 数据库 Oracle 租户的注意事项：如果您在迁移过程中，跳过"源端-主库-数据库 ROW_MOVEMENT 检查"预检查项，同步 ROW_...
事件内容转换
例如，您源端的事件来自 云消息队列 RocketMQ 版，而目标端是消息服务MNS，那么您可以使用Event Transform将来自 云消息队列 RocketMQ 版 的事件内容转换为MNS需要的事件内容。转换说明 事件被转换后，事件总线EventBridge 不会对返回的...
使用数据传输迁移数据
如果开启，请设置 RPS（全量迁移阶段每秒最多可以迁移至目标端的数据行数的最大值限制）和 BPS（全量迁移阶段每秒最多可以迁移至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量迁移实际可以达到的...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。支持的源端和目标端实例类型 下表中，OceanBase 数据库 MySQL 租户简称为 OB_MySQL。源端 目标端 PolarDB-X 2.0（阿里云 PolarDB-X 2.0 ...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。如果创建数据迁移项目时，您仅配置了 增量同步，数据传输要求源端数据库的本地增量日志保存 24 小时以上。如果创建数据迁移项目时，您配置...
离线同步常见问题
目标端的数据类型定义的大小需要可以接收源端映射字段实际数据大小，源端是long、varchar、double等类型的数据，目的端均可用string、text等大范围类型接纳。脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。如果创建数据迁移项目时，您仅配置了 增量同步，数据传输要求源端数据库的本地增量日志保存 24 小时以上。如果创建数据迁移项目时，您配置...
Quick BI如何实现数据录入
概述 本文主要描述了Quick BI如何实现数据录入的方法。详细信息 Quick BI实现数据录入需要用到数据填报功能。1.首先需要新建数据填报，添加对应的输入框，这里的输入框相当于我们数据录入的字段，点击保存后，会弹出我们要录入数据的表的...
- 产品推荐
- 这些文档可能帮助您