同步节点
同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息，关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，支持用户自定义，同一个...
同步节点
同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息，关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，支持用户自定义，同一个...
一键MaxCompute表结构同步节点
本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。背景信息 Hologres 是阿里巴巴自主研发的一站式实时数仓引擎，它与MaxCompute在底层无缝连接，支持使用新建外部表的方式加速查询MaxCompute数据。DataWorks是基于 IMPORT FOREIGN...
一键MaxCompute数据同步节点
本文为您介绍如何创建并使用一键MaxCompute数据同步节点。背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与...
SyncClusterNodePool-同步节点池
您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...
SyncClusterNodePool-同步节点池
您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
查看节点和双向同步实例
本文介绍如何在RDS全球多活数据库集群中查看、管理节点以及双向同步的实例。前提条件 已创建全球多活数据库集群。操作步骤 访问 全球多活数据库集群 页面。在全球多活数据库集群列表页面，单击目标集群ID。在集群 基本信息 页面，查看和...
Gateway节点运行Flume进行数据同步
本文介绍阿里云EMR-3.17.0及后续版本，如何使用Gateway节点运行Flume从而进行数据同步。背景信息 EMR-3.16.0及后续版本支持Apache Flume。EMR-3.17.0及后续版本提供默认监控等特性。在Gateway节点运行Flume可以避免对E-MapReduce Hadoop...
跨账号同步ECS主机名
什么是同步ECS主机名 同步ECS主机名，是指通过PrivateZone自动获取ECS服务器实例信息中的主机名配置，然后根据ECS主机名在privateZone中一键生成相应的内网DNS解析记录（即主机名记录）。什么是跨账号同步ECS主机名 跨账号同步ECS主机名是...
跨账号同步ECS主机名
什么是同步ECS主机名 同步ECS主机名，是指通过内网DNS解析自动获取ECS服务器实例信息中的主机名配置，然后根据ECS主机名在内网DNS中一键生成相应的内网解析记录（即主机名记录）。什么是跨账号同步ECS主机名 跨账号同步ECS主机名是指，例如...
功能特性
什么是全球多活数据库集群 同步拓扑管理 支持对同步任务的同步拓扑进行升级，将单向同步任务升级为双向同步任务，以满足不断发展的业务需求。单向同步升级至双向同步 冲突策略管理 冲突检测 支持对INSERT导致的唯一性冲突、UPDATE更新的...
场景：节点孤立
本文为您介绍什么是孤立节点，节点孤立的原因及解决方法。什么是孤立节点？孤立节点指节点在 周期任务 或 周期实例 处展开父节点时，没有依赖任何父节点，这类型节点在自动调度时不会被调起，所以孤立节点不会自动调度运行，如果该孤立节点...
离线同步并发和限流之间的关系
脏数据限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据同步的脏数据？问题二：如何配置数据同步任务脏数据限制？问题三：数据同步速率和脏数据有哪些关联关系？脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏...
MaxCompute数据源
实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持同步没有主键的表。当实时同步至MaxCompute数据源且使用临时AK进行同步时，临时AK超过7天会自动过期，同时，将导致任务运行失败。平台检测...
向量检索版介绍
查询节点是一个计算型节点，不加载用户的数据，一般不需要太多的内存，但是当返回的文档个数较多或者统计产出的条目过多时才会消耗大量内存。如果查询节点的处理能力达到瓶颈，可以扩充查询节点的备份数或者扩查询节点的规格。数据节点：...
操作流程
数据同步目标端是同步的终点，支持自定义创建目标端。同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务...
操作流程
数据同步目标端是同步的终点，支持自定义创建目标端。同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务...
什么是边缘节点服务ENS
什么是边缘计算 在深入了解边缘节点服务ENS之前，您需要了解边缘计算的定义。边缘计算，是一种分散式运算的架构。在这种架构下，将应用程序、数据资料与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理。或者说，边缘运算将...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑地迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
集成概览
本文为您介绍 边缘节点服务 ENS（Edge Node Service）支持的集成方案。OpenAPI集成 边缘节点服务 ENS 提供实例、网络、存储等多种类型的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用阿里云OpenAPI。API版本...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
边缘节点服务 ENS系统权限策略参考
什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品提供了两种类型的权限策略：系统策略和自定义策略。系统策略统一由阿里云创建，策略的版本...
什么是云盘
什么是云盘？云盘是阿里云为边缘节点服务ENS提供的数据块级别的块存储产品，具有低时延、高性能、持久性、高可靠等特点。云盘采用分布式三副本机制，为ENS实例提供不低于99.9999%的数据可靠性保证。云盘分类 云盘根据性能分为高效云盘和全...
迁移上云
是 同步消费位点 迁移数据时是否将源实例的消费位点同步创建在目标实例。单击 配置运行环境 且设置 同步消费组 为 是 时显示该参数。默认选择 是。是 Topic 源实例的Topic是否需要同步到目标实例，不填写则同步所有Topic。单击 配置运行...
边缘节点服务 ENS自定义权限策略参考
什么是自定义权限策略 在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来维护。创建自定义权限策略后，需为RAM用户、用户组或RAM角色绑定权限...
容器服务报警管理
event node-restart sls.app.ack.node.restart 集群节点时间服务异常 集群中节点时间同步系统服务异常。event node-ntp-down sls.app.ack.ntp.down 集群节点PLEG异常 集群中节点PLEG异常。event node-pleg-error sls.app.ack.node.pleg_...
同步日志
任务执行【任务】是同步日志的集合。 理论上，当一次操作导致多条数据同步时，IDaaS 会将该批次同步结果聚合为【任务】，方便查看执行状态和结果。触发任务记录的事件 触发模块 记录任务的情况 只有日志的情况 身份提供方 IdP 从 IdP ...
常见问题
云存储网关中的数据没有同步上传到OSS Bucket的原因是什么？如何配置文件网关的NFS v4共享路径？文件网关忽略删除的使用场景及配置是什么？文件网关如何加入AD域？块网关FAQ 如何使用块网关创建文件系统并刷新缓存到iSCSI盘？块网关的数据...
03创建开发环境场景并运行
在左侧节点列表中，选择 系统节点>同步节点，将同步节点拖到画布上，输入节点名称为“从MaxCompute同步到RDS MySQL”。单击拖入 同步节点1，在右侧的 运行配置 中，配置节点输入和输出。节点 参数 配置信息 节点输入 云计算资源类型 ...
入仓解决方案
数据同步和迁移任务的区别，请参见 数据迁移和数据同步的区别是什么？新建实时同步任务 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>数仓开发。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标...
什么是数据传输服务DTS
说明 数据迁移在某些场景下可实现部分数据同步的功能，但是两者的适用场景、功能和收费上存在一定区别，详情请参见 数据迁移和数据同步的区别是什么？迁移方案概览 数据迁移功能特性 通过DTS实现数据库的垂直拆分 数据集成 作为数据迁移...
高可用和容灾设计
RDS SQL Server 最大支持一主一备高可用架构和七个只读节点，支持横向扩展集群读能力，备节点和所有只读节点都是从主节点同步数据。集群系列的高可用能力与高可用系列相同，而且只读节点可以创建在和主备节点不同的其它可用区。说明 仅RDS ...
常见问题
为什么同步任务结束后目标实例比源实例的数据量小？若同步过程中进行了数据过滤，或者源实例内表碎片较多，迁移完成后目标实例的数据量可能会小于源实例。跨账号数据同步任务，是否支持双向同步？当前仅 RDS MySQL 实例间，支持跨账号的...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
同步方案概览
更多区别，请参见 数据迁移和数据同步的区别是什么？当前仅当目标库为函数计算FC时，不支持跨地域的同步任务（源库与目标库的地域不同），其余链路均支持。是否支持创建跨阿里云账号的同步任务（源或目标库实例有 是否跨阿里云账号 配置项...
使用DataWorks（离线与实时）
操作入口与通用操作指导 DataStudio侧操作 登录 MaxCompute控制台，单击控制台左侧导航的 数据开发 进入 数据开发（DataStudio）页面，可在DataStudio中新建离线同步节点或实时同步节点，开始配置离线或实时同步任务，将其他数据源数据同步...
- 产品推荐
- 这些文档可能帮助您