一键同步MaxCompute数据
新建 一键MaxCompute数据同步 节点。进入 Hologres管理控制台。鼠标悬停至顶部菜单栏左侧的 图标，选择目标地域。单击左侧导航栏的 前往DataStudio。在 Holo Studio 页面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至顶部菜单...
一键同步MaxCompute表结构
新建 一键MaxCompute表结构同步 节点。进入 Hologres管理控制台。在页面上方选择目标地域。在左侧菜单栏单击 前往DataStudio，前往DataWorks-HoloStudio开发。在 Holo Studio 界面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至...
一键同步MaxCompute表结构
新建 一键MaxCompute表结构同步 节点。进入 Hologres管理控制台。鼠标悬停至顶部菜单栏左侧的 图标，选择目标地域。单击左侧导航栏 前往DataStudio。在 Holo Studio 界面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至顶部菜单...
配置MaxCompute输出
在实时同步节点的编辑页面，单击 输出>MaxCompute 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 MaxCompute 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的MaxCompute数据源，此处仅支持...
基本概念
节点类型：任务流中包含的同步节点、MaxCompute_SQL节点、Flink_Vvp节点、自定义计算节点等在不同计算资源上运行的计算任务节点。补数据计划：通常情况下，对于离线周期任务，当前序任务失败或任务第一次上线，需要通过补数据计划同步或...
配置LogHub（SLS）输入
在实时同步节点的编辑页面，鼠标单击 输入>LogHub 并拖拽至编辑面板。单击 LogHub 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的LogHub（SLS）数据源，此处仅支持LogHub（SLS）数据源。如果未配置数据源，...
配置Kafka输出
在实时同步节点的编辑页面，鼠标单击 输出>Kafka 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Kafka 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源，此处仅支持Kafka数据源。如果未...
将表格存储时序表中数据同步到另一个时序表
您可以在数据开发（DataStudio）界面直接创建离线同步节点用于离线（批量）数据周期性同步或者创建实时同步节点用于单表或整库增量数据实时同步。更多信息，请参见 数据集成概述。使用DataWorks数据集成的离线同步任务，您可以将表格存储...
配置Elasticsearch输出
在实时同步节点的编辑页面，单击 输出>Elasticsearch 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Elasticsearch 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Elasticsearch数据源，此处仅...
修改持久内存型实例的同步模式
同步模式概述 原生Redis采用的主备节点同步模式为异步（Async），即当客户端发起更新请求，主节点（Master）完成操作后会立即响应客户端，同时主节点向备节点（Replica）同步数据。当主节点不可用时引发高可用（High Availability）切换，...
修改持久内存型实例的同步模式
同步模式概述 原生Redis采用的主备节点同步模式为异步（Async），即当客户端发起更新请求，主节点（Master）完成操作后会立即响应客户端，同时主节点向备节点（Replica）同步数据。当主节点不可用时引发高可用（High Availability）切换，...
使用Terraform创建具备自动伸缩功能的节点池
在 节点池 页面右上方，单击 同步节点池。如果您未在集群中使用alicloud_cs_kubernetes_autoscaler组件，请直接进行以下操作。使用Terraform创建开启自动伸缩功能的节点池。创建节点池的配置文件。在已有集群中创建开启自动伸缩功能的节点...
配置同周期调度依赖
依赖配置：对于使用SQL任务加工离线同步任务的产出表的场景，为了方便SQL任务对离线同步任务产出表进行加工时，可通过血缘自动解析快速依赖离线同步任务，您需手动将离线同步节点的产出表配置为节点输出，或者将离线同步任务产出表名作为离...
新增离线数据同步任务
参数 说明 依赖配置 支持配置上游依赖节点，可依赖同周期数据同步节点或数据开发节点。开启后将等待上游节点调度运行成功后，再运行当前节点。表结构变化 选择是否开启检测表结构变化。开启后，以天为单位，进行数据源端表结构检测。若发现...
配置Kafka输入
在实时同步节点的编辑页面，鼠标单击 输入>Kafka 并拖拽至编辑面板。单击 Kafka 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源，此处仅支持Kafka数据源。如果未配置数据源，请单击右侧的 新建...
新增离线数据同步任务
参数 说明 依赖配置 支持配置上游依赖节点，可依赖同周期数据同步节点或数据开发节点。开启后将等待上游节点调度运行成功后，再运行当前节点。表结构变化 选择是否开启检测表结构变化。开启后，以天为单位，进行数据源端表结构检测。若发现...
运行及排错
背景信息 在 设置周期和依赖 的操作中，您配置了每周二凌晨2点执行离线同步节点。提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补数据和周期运行三种触发方式，帮助您确认实例运行的定时时间、相互...
实时同步能力说明
使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、提交实时同步节点后，在生产环境运维中心运行该节点。实时同步仅支持运行在独享数据集成资源组上，详情请参见 独享数据集成资源组。实时同步任务不支持同步视图。注意事项 ...
新建开发环境场景并运行
步骤三：（可选）添加系统节点并配置 系统节点包括：同步节点、就绪检测节点和节点组。请根据实际需要添加需要的系统节点，添加方式相似。以下是以就绪检测节点为例介绍的添加节点的示例操作。关于其他节点的配置，更多信息，请参见 同步...
新建开发环境场景并运行
步骤三：（可选）添加系统节点并配置 系统节点包括：同步节点、就绪检测节点和节点组。请根据实际需要添加需要的系统节点，添加方式相似。以下是以就绪检测节点为例介绍的添加节点的示例操作。关于其他节点的配置，更多信息，请参见 同步...
配置数据脱敏
在实时同步节点的编辑页面，鼠标单击 转换>数据脱敏 并拖拽至编辑面板，连线已配置好的输入节点。单击 数据脱敏 节点，在 数据脱敏 对话框中，配置各项参数。新建 脱敏规则：单击 新建脱敏规则，在弹出来的 新建脱敏规则 对话框中选择需要...
基本概念
任务（Task）任务是对数据执行的操作的定义，示例如下：通过数据同步节点任务，将数据从RDS同步至MaxCompute。通过MaxCompute SQL节点任务，运行MaxCompute SQL来进行数据的转换。每个任务使用0或0个以上的数据表（数据集）作为输入，生成...
MSE Sync迁移方案
JAVA_OPT="$JAVA_OPT-Dmsesync.deamon.refresh.interval=10"重要 定时任务时间间隔默认为60秒，扫描间隔不宜设置过短，否则会造成服务端和同步节点压力过大。具体时间设置需要根据集群负载和同步工具负载确定，建议值不要小于10秒。请勿在...
主从节点数据为什么不强一致？
云数据库Redis版 的主节点（Master）默认会自动将数据更新复制到其关联的从节点（Replica），但由于...详细原因如下：主节点的I/O写入量超过了从节点同步的速度。主节点和从节点之间有网络延迟。适用于 云数据库Redis版 云原生内存数据库Tair
API概览
SyncClusterNodePool 同步节点池 您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。DescribeClusterAttachScripts 查询添加已有节点到集群节点池的脚本 如果需要将已有ECS实例添加到ACK集群中作为...
API概览
SyncClusterNodePool 同步节点池 您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。DescribeClusterAttachScripts 查询添加已有节点到集群节点池的脚本 如果需要将已有ECS实例添加到ACK集群中作为...
API概览
SyncClusterNodePool 同步节点池 您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。DescribeClusterAttachScripts 查询添加已有节点到集群节点池的脚本 如果需要将已有ECS实例添加到ACK集群中作为...
产品定价
8 手动调度模式 包年包月 计算节点规格 元/每个节点/每月 最低购买节点数量 4C16G 1034 2 8C32G 2068 2 按量付费 计算节点规格 元/每个节点/每小时 最低购买节点数量 4C16G 1.596 2 8C32G 3.192 2 存储资源 Serverless模式磁盘存储费用的...
Cloud Controller Manager
定时同步节点标签。此次升级不会对业务造成影响。2021年04月 版本号 镜像地址 变更时间 变更内容 变更影响 v1.9.3.380-gd6d0962-aliyun registry....
安装并部署节点
购买节点后技术支持人员会主动联系并为您提供节点部署软件包，您也可以 提交工单 联系技术支持人员获取。已根据以下文档完成节点部署。部署前检查 部署隐私计算节点 部署后的检查和管理 操作步骤 登录 蚂蚁隐私计算服务平台。左侧导航栏，...
MongoDB只读节点简介
只读节点架构 只读节点（ReadOnly）的特点如下：只读节点（ReadOnly）通过操作日志（Oplog）从延迟最低的主节点（Primary）或从节点（Secondary）同步数据，应用于有大量读请求的场景，以减轻主节点（Primary）和从节点（Secondary）的访问...
DescribeSDGs-查询SDG信息
sdg_copying：跨节点同步中。failed：制作失败。success：制作成功。success CreationInstanceId string 创建 SDG 的实例 ID。aic-5x20dyeos*CreationRegionId string 创建 SDG 的节点 ID。cn-hangzhou-26 CreationTime string SDG 首次...
执行DDL操作提示“获取不到MDL锁”
主节点等待所有只读节点同步到最新的复制位点。在一定时间内，主节点会判断所有只读节点是否都解析到了此Redo日志以及是否加锁成功。然后有下列两种情况：所有只读节点同步到最新的复制位点，DDL成功。某些只读节点未同步到最新的复制位点...
高可用和容灾设计
RDS SQL Server 最大支持一主一备高可用架构和七个只读节点，支持横向扩展集群读能力，备节点和所有只读节点都是从主节点同步数据。集群系列的高可用能力与高可用系列相同，而且只读节点可以创建在和主备节点不同的其它可用区。说明 仅RDS ...
开启读写分离功能
背景信息 读写分离功能采用星型复制架构，所有只读节点均从主节点同步数据，数据同步延迟低。所有只读节点均具备容灾功能，可作为备节点进行数据备份，您可以按需选择只读节点数量（范围为1~9），更多信息请参见 读写分离架构。操作步骤 ...
开启读写分离功能
背景信息 读写分离功能采用星型复制架构，所有只读节点均从主节点同步数据，数据同步延迟低。所有只读节点均具备容灾功能，可作为备节点进行数据备份，您可以按需选择只读节点数量（范围为1~9），更多信息请参见 读写分离版。操作步骤 访问...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
配置数据库代理
全局一致性读超时时间 等待只读节点同步到最新数据的超时时间。取值范围：0~60000。默认值为20。单位为ms。说明 仅当 一致性级别 为 全局一致性（强）时支持该配置。全局一致性读超时策略 在只读节点等待超时后 PolarDB 的默认策略，取值...
DataWorks节点合集
类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步，并提供用于离线（批量）数据周期性同步的离线同步节点，与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发（DataStudio）界面直接创建。...
- 产品推荐
- 这些文档可能帮助您