迁移时源库为Redis的注意事项及限制
如果迁移的源数据库类型为Redis，如自建Redis、云数据库Redis版，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为Redis的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：...
迁移评估概述
功能 描述 数据库对象评估 支持直接连接源端数据库，自动获取源端数据库对象的信息，评估源端数据库至 OceanBase 数据库对应版本的兼容性。目前支持进行对象评估的数据库类型及版本如下：Oracle 数据库：11g/12c/18c/19c MySQL 数据库：5.6...
一键MaxCompute任务出错恢复
出现脏数据导致的实时任务报错 常见的场景有目标列类型和源端数据不兼容，查看实时任务运行日志、查看脏数据的输出内容，请确认是源端数据问题还是目标端问题，如果是目标表结构问题，可能需要重建目标表以恢复实时任务。重新加载表：需要...
通过数据同步功能同步SLS数据至湖仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 湖仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
UpdateDIProjectConfig
如果不配置源端数据源，则默认全局配置对所有的源端数据源均生效。ProjectConfig String 是 {"RENAMECOLUMN":"WARNING","DROPTABLE":"WARNING","CREATETABLE":"WARNING","MODIFYCOLUMN":"WARNING","TRUNCATETABLE":"WARNING","DROPCOLUMN":...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
审批中心概述
数据集成任务审批流程 审批中心支持管理员按 源端、目的端 数据源的组合来定义需要被审批的数据集成任务，包括：在数据集成或数据开发页面保存任务等操作。例如，管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成...
ListDIProjectConfig
如果不配置源端数据源，则默认全局配置对所有的源端数据源均生效。返回数据 名称 类型 示例值 描述 Data Struct 查看目标工作空间中数据集成同步解决方案任务默认全局配置的返回结果。Config String {"RENAMECOLUMN":"WARNING","DROPTABLE...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
使用模板创建PC端看板
DataV支持使用模板和识图两种方式创建PC端数据看板，本文介绍如何使用模板创建PC端数据看板。背景信息 DataV对新增数据看板的数量有限制，说明如下：试用版 支持5个数据看板。企业版 支持20个数据看板。专业版 支持40个数据看板。尊享版 ...
路况层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看...
路况层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。说明 还可将...
等值面层（v3.x版本）
动作 动作 说明 请求插值点数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如等值面层配置了API数据源为 https://api.test ，传到 请求插值点数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
同步Redis后出现数据不一致
问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标端的keys情况，出现源端和目标端数据不一致，且含过期时间的keys占很大比重。如下图：可能原因 单靠 info keyspace 的 expires 来判断数据...
区域热力层
动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则...
计费项
数据流量费 数据流量费是指客户端从订阅通道中消费数据所产生的流量费用。数据订阅实例为包年包月（也称为预付费），订阅实例类型为 MySQL，数据订阅配置费类型为 半价配置费+1元/GB数据流量费，从2020年12月18日开始，DTS会对该订阅实例...
水体
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如水体配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 ...
线热力层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
布局容器
如果页面中没有移动端数据看板，需要首先创建，详情请参见 使用模板创建移动端看板。在移动端画布编辑器中，单击 布局容器 面板内的某一种类型的容器，即可直接添加容器到流式布局画布中。例如添加 多行容器。使用单击方式直接添加到流式...
WMTS栅格瓦片
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。说明 还可将...
Oracle数据导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
使用模板创建移动端看板
本文介绍如何使用模板创建移动端数据看板。操作步骤 登录 DataV控制台。在 工作台 页面，移动鼠标到 创建移动端看板 上，单击 选择模板。在 创建看板 页面，通过 应用场景、设计风格 和 颜色 三种维度筛选出自己需要的模板后，单击 创建...
S3M管网
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。说明 还可将...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
事务级连接池
开启事务级连接池后，当客户端发送请求时，会先与 PolarDB 代理建连，代理不会马上将其与后端数据库建连，而是先从事务级连接池里查找是否存在可用的连接（判断是否为可用连接的条件：user、dbname和系统变量这3个参数值是否一致）。...
OGG插件介绍
Extract：负责从源端数据库表或者事务日志中捕获数据，有初始加载和增量同步两种模式可以配置，初始加载模式是直接将源表数据同步到目标端，而增量同步就是分析源端数据库的日志，将变动的记录传到目标端，本文介绍的是增量同步的模式；...
事务级连接池
开启事务级连接池后，当客户端发送请求时，会先与 PolarDB 代理建连，代理不会马上将其与后端数据库建连，而是先从事务级连接池里查找是否存在可用的连接（判断是否为可用连接的条件：user、dbname和系统变量这3个参数值是否一致）。...
设置连接池类型
开启事务级连接池后，当客户端发送请求时，会先与数据库代理建连，代理不会马上将其与后端数据库建连，而是先从事务级连接池里查找是否存在可用的连接（判断是否为可用连接的条件：user、dbname 和系统变量这3个参数值是否一致）。...
设置连接保持
说明 包含主动切换的运维操作：主动主备切换 升级小版本 修改重启类参数（修改参数时需重启实例）变更主实例配置 实现原理 数据库代理连接分为前端连接（代理与客户端的连接）和后端连接（代理与数据库的连接），在执行主动切换操作时，...
新建 Kafka 数据源
VPC 内部署/跨网络部署 跨网络部署是指源端和目标端数据源位于不同的网络（包含不同的 VPC 或云服务供应商）。请根据业务需求，选择 VPC 内部署 或 跨网络部署，并在 交换机 下拉列表中选择 Kafka 服务所有 bootstrap server 和 broker ...
应用场景
相比较云数据库Redis版，云原生内存数据库Tair 提供了更加丰富的数据结构，不仅适用于云数据库Redis版支持的应用场景，更适用于高并发且带有一定计算需求的场景，已广泛应用于多个行业。自动驾驶 云原生内存数据库Tair 提供了时序数据结构 ...
连接池
开启事务级连接池后，当客户端发送请求时，会先与 PolarDB 代理建连，代理不会马上将其与后端数据库建连，而是先从事务级连接池里查找是否存在可用的连接（判断是否为可用连接的条件：user、dbname 和系统变量这3个参数值是否一致）。...
Microsoft Azure Database for MySQL数据库迁移到阿里...
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
实时同步任务延迟解决方案
确认源端数据是否有倾斜或者是否需要扩展分区或shard的数量 对于源端是Kafka、DataHub和Loghub三种类型的实时同步任务，如果根据上述步骤未发现异常或Failover，则需要检查源端系统数据是否有倾斜或者分区、shard的读取流量是否达到了同步...
管理数据源权限
您可以在数据源管理页面，分享数据源权限给相应的工作空间，并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。背景信息 通常数据源会承载数据的具体地址、账户和密码等敏感信息，但普通开发人员仅...
UploadSession
上传数据时，Writer每写入8KB数据，便会触发一次网络动作，如果120秒内没有网络动作，服务端将主动关闭连接，此时Writer将不可用，请重新打开一个新的Writer写入。建议使用 openBufferedWriter 接口上传数据，该接口对您屏蔽了blockId的...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Kafka。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的...
- 产品推荐
- 这些文档可能帮助您