MySQL一键实时同步至MaxCompute
创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源MaxCompute，并选择 一键实时同步至MaxCompute 方案。配置网络连通。源端选择已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认数据源，并测试...
配置发布API
触发器介绍 多端低代码开发平台魔笔 提供 触发器 功能，包含 发布API 和 定时任务。发布API：发布API供外部应用访问Mobi应用的数据和服务。定时任务：指定时间内触发执行定时任务。前提条件 已创建应用，具体请参见 添加应用。已创建使用此...
审批中心概述
数据集成任务审批流程 审批中心支持管理员按 源端、目的端 数据源的组合来定义需要被审批的数据集成任务，包括：在数据集成或数据开发页面保存任务等操作。例如，管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
什么是云原生内存数据库Tair
直连模式 支持客户端绕过代理服务器直接访问后端数据分片，可降低网络开销和服务响应时间，适用于对Redis响应速度要求极高的业务。读写分离架构 读写分离实例通过主从（Master-Replica）架构实现高可用，主节点挂载只读副本（Read Replica...
整库离线同步至MaxCompute
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
整库离线同步至MaxCompute
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
自建SQL Server通过物理网关迁移上云
源端数据库名称不能与某些系统库名或者其他不能使用的库名重复，列举如下：reserved_dbname=["master","tempdb","msdb","model","distribution","rdscore","sys_info"]源端SQL Server网络需满足如下条件：若源端未开启防火墙，且源端为阿里...
自建SQL Server通过物理网关迁移上云
源端数据库名称不能与某些系统库名或者其他不能使用的库名重复，列举如下：reserved_dbname=["master","tempdb","msdb","model","distribution","rdscore","sys_info"]源端SQL Server网络需满足如下条件：若源端未开启防火墙，且源端为阿里...
NLB服务器组概述
每个服务器组均用于将客户端的请求路由到一个或多个后端服务器。NLB会通过健康检查来判断后端服务器的业务可用性。在为NLB实例添加监听时您需要指定服务器组，监听会使用已配置的协议和端口检查客户端的连接请求，并将流量转发至相应的...
配置全链路HTTPS访问实现加密通信
当开启后端长连接后，ALB到后端服务器之间会维持一定数量的TCP长连接，当新请求到达时，如果有空闲的TCP长连接，ALB优先使用TCP长连接转发请求到后端服务器，从而减少TCP握手建连次数，减轻后端服务器压力。开启健康检查 开启或关闭健康...
新增实时任务
已完成源端数据和目标端数据源同步Meta，具体操作，请参见 同步元数据。已添加实时同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
增量同步 增量同步任务开始后，数据传输会同步源端数据库发生变化的数据（新增、修改或删除）至目标端数据库对应的表中。增量同步 包括 DML 同步 和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。增量同步 的...
新增实时任务
已完成源端数据和目标端数据源同步Meta，具体操作，请参见 同步元数据。已添加实时同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
分区格式化数据盘
如果您的轻量应用服务器挂载了数据盘，则必须创建分区和文件系统才能使数据盘变为可用。本文主要介绍如何分区格式化数据盘。背景信息 服务器上挂载的数据盘必须分区格式化才能正常使用。不同操作系统的数据盘分区格式化的操作不同，请您...
使用数据传输同步数据
分区规则 同步源端数据至 DataHub Topic 的规则，目前支持 Hash 和 Table。推荐您选择 Table，以确保下游在消费消息时，不会出现 DDL 与 DML 消费不统一的情况。Hash 表示数据传输使用一定的 Hash 算法，根据主键值或分片列值 Hash 选择 ...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
MySQL分库分表同步至MaxCompute
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...
MySQL分库分表同步至MaxCompute
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...
整库离线同步至OSS
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
Token鉴权概述
应用服务器行为约束 应用服务器必须验证自己的客户端是否合法，避免客户端冒用身份申请Token。应用服务器应该对Token和客户端的关系、已分配的Token、对应权限内容以及生效时间进行管理，避免同一个客户端重复调用。应用服务器将Token返回...
新增离线数据同步任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
Token鉴权概述
应用服务器行为约束 应用服务器必须验证自己的客户端是否合法，避免客户端冒用身份申请Token。应用服务器应该对Token和客户端的关系、已分配的Token、对应权限内容以及生效时间进行管理，避免同一个客户端重复调用。应用服务器需要做本地容...
新增离线数据同步任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
AddBackendServers-添加后端服务器
调用AddBackendServers添加后端服务器。接口说明 API 调用频率：100 次/秒。单用户调用频率：10 次/秒。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
数据质量：全流程的质量监控
数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。说明 ETL是抽取、转换和加载源端数据至目的端的过程。数据质量以数据集（DataSet）为监控...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
轻量应用负载均衡概述
轻量应用负载均衡和后端轻量服务器是内网互通的，从轻量应用负载均衡进出的公网流量不占用后端轻量应用服务器的公网流量。轻量应用负载均衡当前售卖的套餐不收取公网流量费用。目前轻量应用负载均衡支持选购 60元/月 的套餐配置。配置说明...
CREATE SERVER
服务器名称在数据库中必须唯一。创建服务器要求使用外部数据包装器上的USAGE特权。在使用 DBLink 模块时，一个外部服务器的名称可以被用作 dblink_connect 函数的一个参数来指示连接参数。以这种方式使用外部服务器，需要具有外部服务器的...
整库离线同步至Elasticsearch
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
通过弹性网卡添加后端服务器
在 后端服务器 页签，选择 虚拟服务器组，在 选择服务器组 下拉框中选择已创建的挂载ENI的虚拟服务器组，然后单击 下一步 至 提交，完成将监听的后端服务器切换为挂载ENI的虚拟服务器组。返回 实例管理 页面，查看该实例挂载的ECS和ENI后端...
ApsaraDB For OceanBase数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
NLB监听概述
NLB 实例监听负责检查连接请求，然后根据调度算法将客户端请求分发至后端服务器，分担流量压力。本文介绍 NLB 监听支持的协议及端口的配置。支持的监听协议 协议 说明 使用场景 TCP 面向连接的协议，在正式收发数据前，必须和对方建立可靠...
告警日志
主机名 数据库服务器的主机名。影响行数 SQL的影响行数。执行时长 SQL的执行时长。操作类型 SQL的操作类型。数据库类型 数据库的类型。执行状态 SQL的执行结果，取值：全部（默认）未知 执行成功 执行失败 是否为统计规则 是否为统计规则...
CREATE SERVER
服务器名称在数据库中必须唯一。创建服务器要求使用外部数据包装器上的USAGE特权。在使用 DBLink 模块时，一个外部服务器的名称可以被用作 dblink_connect 函数的一个参数来指示连接参数。以这种方式使用外部服务器，需要具有外部服务器的...
常见问题
MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？读取MongoDB数据期间，源端有更新记录，但未同步至目的端，如何处理？读取OSS文件是否有文件数限制？写入DataHub时，一次性写入数据超限导致写入失败如何处理？使用lindorm ...
NLB快速实现IPv4服务的负载均衡
如果您需要快速创建一个NLB实例，并将来自客户端的访问请求转发至后端服务器，请参考本文操作实现IPv4服务的负载均衡。操作流程 准备工作 搭建负载均衡服务前，您需要根据业务需求规划 NLB 实例的地域，创建专有网络VPC（Virtual Private ...
- 产品推荐
- 这些文档可能帮助您