使用Canal将MySQL的数据同步至云消息队列 Kafka 版
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...
产品月度更新总览
Flow 私有构建集群支持macOS 私有构建集群支持接入 macOS 作为构建机器 详见：Flow 更新日志 功能优化 流水线Job申请运行环境日志打印调度到的私有构建机器，辅助问题排查 云效应用交付 AppStack 应用模板编排YAML修改支持批量同步应用 ...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
设备端SDK更新记录
本章节介绍了生活物联网平台设备端SDK的更新记录。SDK V1.6.6新增功能 说明 请通过git pull更新rel_1.6.6分支到最新版本（1.6.6-20）。版本 新增功能说明 1.6.6-20 SDK部分更新 修复偶现定时器卡死。蓝牙辅助配网偶现Crash。TG7100C芯片...
SDK新增功能介绍
蓝牙辅助配网优化 此项优化减少了设备通过蓝牙辅助配网连接中国内地之外的国家和地区（包括中国香港、中国澳门和中国台湾地区）站点的时长，并在配网进行过程中增加了设备异常自检信息的获取和显示，并能够在移动端App界面看到详细的设备...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
Oracle数据源
TIMESTAMP和DATE 布尔型 BIT和BOOL 二进制类 BLOB、BFILE、RAW和LONG RAW 数据同步前准备：Oracle环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在Oracle侧进行数据同步环境准备，以便在DataWorks上进行Oracle数据同步任务配置...
实例内第三方软件安装与配置问题
mkdir/var/lib/dpkg/info/执行如下命令，进行apt源更新同步。apt-get update 执行如下命令，重新安装xxxxx软件，若不再提示以上报错信息，则表示问题已修复。apt-get install xxxxx 通过Apt-get安装软件或更新时，提示“Segmentation ...
云存储网关软件版公测
21s 从开始创建文件到文件全部上云所花费时间：81s 在客户端无元数据缓存的前提下，执行 ls个文件所属文件夹>花费时间：0.24s 花费时间：3.36s 创建10万个4 KB小文件 创建文件所花费时间：384s 从开始创建文件到文件全部上云所花费时间：...
数据写入、更新、点查场景压测最佳实践
Hologres是兼容PostgreSQL协议的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，既支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），又支持高并发低延迟的在线数据服务（Serving）。本文为您介绍Hologres在数据写入、...
PostgreSQL数据源
数据同步前准备：PostgreSQL环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在PostgreSQL侧进行数据同步环境准备，以便在DataWorks上进行PostgreSQL数据同步任务配置与执行时服务正常。以下为您介绍PostgreSQL同步前的相关环境...
挂载访问FAQ
本文介绍挂载NAS文件系统的常见问题。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 通过控制台一键挂载文件系统 一键挂载功能支持哪些操作系统和文件系统协议？经典网络或者已打通VPC的ECS实例怎么通过...
功能特性
同步到OSS 同步到本地文件 表格存储支持通过命令行工具或者DataX工具直接下载数据到本地文件。您也可以通过DataWorks工具将数据同步到OSS后再在OSS侧下载数据到本地文件。同步到本地文件 数据湖投递 数据湖投递 表格存储数据湖投递可以全量...
使用NimoShake将Amazon DynamoDB迁移至阿里云
NimoShake（又名DynamoShake）是阿里云研发的数据同步工具，您可以借助该工具将Amazon DynamoDB数据库迁移至阿里云。前提条件 已经创建阿里云MongoDB实例，详情请参见 创建副本集实例 或 创建分片集群实例。背景信息 本文档主要介绍...
自建PostgreSQL同步至RDS PostgreSQL
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 仅2020年10月01日后...
写入时序数据
表格存储 提供了PutTimeseriesData接口用于批量写入时序数据。时序数据由时间线元数据和时序表数据组成。如果未预先新建时间线元数据，当写入时序数据时，系统会自动提取该时间线的元数据信息并自动构建索引。说明 在表格存储的时序模型中...
自建PostgreSQL同步至RDS PostgreSQL
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 仅2020年10月01日后...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
自建SQL Server同步至PolarDB MySQL版
支持的同步架构 一对一单向同步 一对多单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE TABLE 说明 不支持分区、表...
导入与导出
解决方法：非整库同步：建议重新同步这张表（即先从同步对象中去掉，然后删除目标库的表，再把这张表加入到同步对象中），DTS会重新进行包括schema拉取的全量同步，这样会跳过此类型的DDL。整库同步：在AnalyticDB MySQL中新建一张表，表名...
自建PostgreSQL同步至PolarDB PostgreSQL版（兼容...
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 仅2020年10月01日后...
云数据库MongoDB版（分片集群架构）同步至云数据库...
数据传输服务DTS（Data Transmission Service）支持将MongoDB（分片集群架构）的数据同步至MongoDB（副本集架构或分片集群架构）。本文以 云数据库MongoDB版 实例间的数据同步为例，为您介绍操作步骤。前提条件 已创建目标 云数据库MongoDB...
云数据库MongoDB版（分片集群架构）同步至云数据库...
数据传输服务DTS（Data Transmission Service）支持将MongoDB（分片集群架构）的数据同步至MongoDB（副本集架构或分片集群架构）。本文以 云数据库MongoDB版 实例间的数据同步为例，为您介绍操作步骤。前提条件 已创建目标 云数据库MongoDB...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
注意事项 当需要进行 Oracle 数据库的增量同步时，Oracle 数据库单个归档文件的大小建议小于 2GB。Oracle 数据库的归档文件保存 2 天以上，否则由于某个时间段归档量陡增等情况，准备恢复时没有了归档文件，将无法恢复。如果源端 Oracle ...
Tair小版本发布日志
您可以参阅本文了解Tair小版本的更新说明。查询或升级实例的小版本 您可以通过控制台查看当前的小版本，具体操作及升级小版本的其注意事项，请参见 升级小版本。重要 系统会自动检测实例的小版本，如果 小版本升级 按钮不存在或处于无法...
从ECS上的自建Redis同步至云数据库Redis实例
支持的同步拓扑 一对一单向同步 一对多单向同步 级联单向同步 关于各类同步拓扑的介绍及注意事项，请参见 数据同步拓扑介绍。支持的同步命令 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您需要进行增量同步，请完成以下前置操作：增量同步时，数据传输不支持 DDL 的自动同步。如果待迁移的表需要进行 DDL，请先手动在目标端执行该 DDL 语句，再在源端 RDS PostgreSQL 实例中执行。为确保执行 DDL 语句后的增量 DML 能够...
使用Tapdata Cloud导入MySQL数据
通过Tapdata Cloud的可视化界面，您可以将自建MySQL、阿里云RDS MySQL、第三方云数据库的数据实时同步到表格存储。前提条件 使用Tapdata Cloud同步MySQL数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
API概览
BatchDeleteMaliciousFileWhitelistConfig 批量删除无代理检测敏感文件告警加白规则 批量删除无代理检测敏感文件告警加白规则。UpdateMaliciousFileWhitelistConfig 修改无代理检测敏感文件告警加白规则 修改无代理检测敏感文件告警加白...
什么是表格存储
同步到本地文件 使用命令行工具或者DataX工具直接下载数据到本地文件。您也可以使用DataWorks工具将数据同步到OSS后再在OSS侧下载数据到本地文件。更多功能 如果要控制用户的访问权限，您可以使用访问控制RAM自定义权限实现。更多信息，请...
云数据库Redis间的单向同步
支持的同步拓扑 一对一单向同步 一对多单向同步 级联单向同步 关于各类同步拓扑的介绍及注意事项，请参见 数据同步拓扑介绍。支持的同步命令 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、...
从ECS上的自建Redis同步至Tair实例
支持的同步拓扑 一对一单向同步 一对多单向同步 级联单向同步 关于各类同步拓扑的介绍及注意事项，请参见 数据同步拓扑介绍。支持的同步命令 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、...
安装客户端
单击 新增安装命令，在 新增安装命令 对话框，配置命令的基本信息后，单击 确定，然后在 安装命令 页面查看并复制新增的命令。新增安装命令的配置信息如下表所示：配置项 说明 过期时间 该命令过期的时间。服务商 在下拉列表中选择服务器...
云原生内存数据库Tair间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版（Tair）实例或Tair（云盘版）实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步任务的配置流程。前提条件 已创建源库目标Redis企业版（Tair）...
跨云账号单向同步云数据库Redis实例
源库单机版Redis同步到目标库集群版Redis的操作限制：由于集群cluster只允许单个命令操作单个slot，若在源库执行多Key操作时，Key不在同一个slot或涉及多个slot，则会出现以下报错：CROSSSLOT Keys in request don't hash to the same slot...
使用批量更新
本文介绍了 AnalyticDB PostgreSQL版 中数据合并的方法和背后的原理，进而介绍如何使用批量操作，快速地更新数据。更新，又称为合并（Merge），指把数据最新版本更新到 AnalyticDB PostgreSQL版 中。如果数据已经存在，则将它们替换为新...
搭建FTP站点（CentOS 7）
说明 大多数客户端位于局域网中，IP地址是经过转换的，因此 ipconfig 或 ifconfig 命令返回的IP不一定是客户端的真实公网IP地址。若后续客户端无法登录FTP服务器，请重新确认其公网IP地址。被动模式需开放21端口，以及/etc/vsftpd/vsftpd....
搭建FTP站点（Alibaba Cloud Linux 3）
说明 大多数客户端位于局域网中，IP地址是经过转换的，因此 ipconfig 或 ifconfig 命令返回的IP不一定是客户端的真实公网IP地址。若后续客户端无法登录FTP服务器，请重新确认其公网IP地址。被动模式需开放21端口，以及配置文件/etc/vsftpd/...
- 产品推荐
- 这些文档可能帮助您