数据集成概述
数据传输：数据集成仅完成数据同步（传输），本身不提供数据流的消费方式。数据一致性：数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
K8s任务
PHP脚本 如果想通过Pod运行PHP脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Php-Script，镜像默认是php:7.4-cli（也可以替换自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动，Pod名称为...
K8s任务
PHP脚本 如果想通过Pod运行PHP脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Php-Script，镜像默认是php:7.4-cli（也可以替换自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动，Pod名称为...
产品优势
DTS内部对部分传输链路提供7×24小时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。DTS各模块间采用安全传输协议及安全token认证，并具有自动断点续传机制，有效地保证数据传输的可靠性。简单易用 DTS提供可视化管理界面...
如何清理孤立文档
登录数据库后运行JS脚本 在 cleanupOrphaned.js 脚本所在的目录下，通过Mongo Shell连接数据库。连接实例的方法，请参见 通过Mongo Shell连接MongoDB分片集群实例。登录成功后，执行以下命令运行脚本。load("cleanupOrphaned.js")自建...
快速入门
② Shell脚本语言（以%sh开头），您可以运行Shell脚本，生成数据。③ Hive（以%hive开头），您可以执行任意的Hive SQL语句。④ 单击 图标，可以切换关联的集群。⑤ 单击 图标，运行当前段落。说明 部分解释器（Interpreter）在第一次使用的...
Linux实例的自定义数据（user-data）未生效，系统日志...
本文介绍Linux实例的自定义数据未生效，系统日志提示"Failed to run module scripts-user(scripts in/var/lib/cloud/instance/scripts)"错误时的问题原因及解决方案。问题现象 Linux实例设置自定义数据并重启实例后发现自定义数据未生效，...
启动和暂停数据同步项目
在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，单击目标项目后的 启动。您也可以在 同步项目列表 页面，单击项目名称进入详情页面，单击右上角的 启动。系统自动完成对数据同步项目的预检查后，启动数据同步项目。暂停数据...
配置脚本代码节点
通过任务编排中的脚本代码可以实现周期性或定时运行脚本，本文介绍配置基于数据库网关的脚本代码节点。背景信息 很多任务以脚本的方式存在于服务器中，脚本代码节点结合数据库网关，可以实现这些脚本的统一调度。例如：使用高级的工具...
同步 OceanBase 数据库的数据至 RocketMQ
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
同步 OceanBase 数据库的数据至 Kafka
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
同步 OceanBase 数据库的数据至 DataHub
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
购买数据同步项目
在左侧导航栏，单击 数据传输>数据同步。在 数据同步 页面，单击 同步项目列表 区域右上角的 购买同步项目。在 数据传输-包年包月 页面，配置各项参数。参数 描述 商品类型 目前数据同步项目仅支持 包年包月。功能 功能默认为 数据同步。源...
OceanBase 数据库之间的数据迁移
在 数据传输>数据迁移 页面，单击新购买的数据迁移项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据迁移项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移项目名称 建议使用...
Salesforce数据源
离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的...
购买数据迁移项目
在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击 迁移项目列表 区域右上角的 购买迁移项目。在 数据传输-按量付费 页面，配置各项参数。参数 描述 商品类型 目前数据迁移项目仅支持 按量付费。目前为限时免费阶段，具体收费...
使用DTS迁移Redis
对于List列表，由于DTS在调用 PSYNC 或 SYNC 传输数据时，不会对目标端已有的数据执行 FLUSH 操作，所以可能出现重复的数据。若在执行全量迁移过程中网络中断，DTS可能会执行多次全量迁移（会自动覆盖同名Key），若在此时对源库执行删除...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
在 数据传输>数据迁移 页面，单击新购买的数据迁移项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据迁移项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移项目名称 建议使用...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
在 数据传输>数据迁移 页面，单击新购买的数据迁移项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据迁移项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移项目名称 建议使用...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
在 数据传输>数据迁移 页面，单击新购买的数据迁移项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据迁移项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移项目名称 建议使用...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
在 数据传输>数据迁移 页面，单击新购买的数据迁移项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据迁移项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移项目名称 建议使用...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
在 数据传输>数据迁移 页面，单击新购买的数据迁移项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据迁移项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移项目名称 建议使用...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建的MySQL数据库中的数据，迁移到MaxCompute。前提条件 已拥有至少一个绑定专有网络VPC的ECS（请勿使用经典网络），并在ECS上安装好MySQL数据库，数据库中已创建好用户和测试数据。...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建的MySQL数据库中的数据，迁移到MaxCompute。前提条件 已拥有至少一个绑定专有网络VPC的ECS（请勿使用经典网络），并在ECS上安装好MySQL数据库，数据库中已创建好用户和测试数据。...
提交消息解析脚本
支持的脚本语言 需定义的函数 示例代码 JavaScript（ECMAScript 5）transformPayload()JavaScript脚本示例 Python 2.7 transform_payload()Python脚本示例 PHP 7.2 transformPayload()PHP脚本示例 说明 如果产品的 数据格式 为 透传/自定义...
RunCommand-在云桌面中执行脚本
在一台或多台Windows操作系统云桌面中执行一段PowerShell或者Bat类型的脚本。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无...
计费逻辑说明
任务量需求 数据集成任务高并发执行且无法错峰运行的情况下，企业需要独享的计算资源来保障数据快速、稳定地传输，此时您可选择使用独享数据集成资源组。访问公网需求 独享数据集成资源组拥有公网访问能力，如果您的数据库在公网内，独享...
使用MaxCompute编译器检查脚本
运行结果 报错说明 由于 src 表定义参数为两列，而利用 insert 语句插入数据时，values 中有一组数据缺少一列参数，故编译器报错。告警示例 编译器显示 鼠标悬停如下图所示告警标记处，编译器显示 implicit conversion from STRING to ...
MySQL实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间（比如RDS MySQL、自建MySQL）的双向数据实时同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文以RDS MySQL实例为例，介绍双向数据同步的配置步骤，...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
透传/编辑脚本
如果设备无法直接和云端传输JSON格式的数据，则需要设备通过二进制格式将数据透传到云端，由云端运行解析脚本将透传的数据转换成标准ICA格式的JSON数据。前提条件 已创建产品，且产品的 数据格式 设置为 透传/自定义。否则在 产品-设备调试...
联邦建模概述
一个完整的联邦学习项目中包含多种类型的脚本，脚本与脚本之间，通过输入、输出/产出的数据进行关联，如下图所示。联邦模型开发分为：数据处理：包含样本数据处理和联邦数据处理。样本数据处理：将各节点中具有相同属性的数据逻辑集合起来...
配置解析器
云产品流转功能通过配置数据流转解析器关联数据源（设备Topic消息）和数据目的（其他Topic、业务服务器或其他阿里云产品），使用解析脚本实现设备消息转发。本文介绍设置数据流转解析器的完整操作步骤，依次是创建解析器、关联数据源和数据...
编写自定义脚本
数据解析任务中源节点的Topic数据格式为原始数据时，可以使用自定义脚本进行解析。物联网平台支持配置JavaScript（ECMAScript 5）、Python 2.7和PHP 7.2语言的脚本。本文介绍自定义Topic数据解析脚本模板和示例。JavaScript脚本示例 脚本...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
手动执行脚本
集群创建完成后，您可以通过手动执行脚本功能批量选择节点来运行指定脚本，以实现个性化需求。本文为您介绍如何添加手动执行脚本。背景信息 手动执行功能适用于长期存在的集群，对按需创建的临时集群，应使用引导操作来完成集群初始化工作...
- 产品推荐
- 这些文档可能帮助您