通过DataWorks将Hadoop数据同步到阿里云ES
Hadoop集群、ES实例和DataWorks工作空间需要在同一时区下，否则同步与时间相关的数据时，同步前后的数据可能存在时区差。费用说明 ES实例费用，请参见 ES计费项。独享数据集成资源组费用，请参见 独享数据集成资源组计费说明：包年包月。...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与服务器端的网络交互次数，并提升整体吞吐量。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024
执行命令
超时时间 设置命令在服务器实例中的超时时间，当执行命令的任务超时后，命令助手将强制终止任务进程。单位为秒，默认超时时间为60秒，可设定超时时间取值范围为10～86400秒（24小时）。参数配置完成后，单击 执行。在目标命令的 操作 列，...
同步平台模型到本地代码
方式一：通过QuickFix对当前文件部分同步 BizWorks Toolkit插件会对编辑中文件做即时检查，在通过检查后的QuickFix列表中，选用适合的操作将平台模型同步到本地。示例一：示例二：方式二：对编辑中的文件全量同步 说明 全量同步只会同步...
迁移或同步指定时间段内的数据
表示从当前时间开始数据同步，到该时间戳对应的时间点结束同步。重要 如果源集群是自建HBase集群，还需在 高级配置 中添加"exporterEnable":false。单击 创建，创建同步任务并保存配置。一键迁移 您可以在一键迁移中同时配置历史迁移任务和...
仓库同步
仓库同步过程中将不支持写入，请合理安排同步时间，特别是针对网络条件不佳或超大仓库的同步时，可能存在较长等待时间，你可以切换页面，同步完成后将向操作人发送邮件通知。说明 仓库同步超时时间为 10 分钟，超时将同步失败，可能提示...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
Hologres整库周期性增全量同步至MaxCompute
本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何把Hologres整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Hologres作为来源...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本文以AnalyticDB for MySQL3.0离线同步写入Hologres场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的数据离线同步到Hologres。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。...
添加云产品数据源
选择 最早同步时间。单击 完成。新建云产品数据源成功后：在 数据接入>云产品 页签下，对应添加云产品数据源同步任务，同步状态 默认为 已停止。您需手动开启云产品数据源同步，具体操作，请参见 开启云产品数据源同步。在 数据存储>冷数据...
新增同步对象
注意事项 新增对象的同步起始时间点与同步作业是否配置了 同步初始化 有关，具体如下：如果未配置同步初始化，那么同步对象会从源实例中当前时间点产生的增量数据开始同步。如果配置了同步初始化，那么新增对象会先进行结构初始化和全量...
新建命令
超时时间 设置命令在服务器实例中的超时时间，当执行命令的任务超时后，命令助手将强制终止任务进程。单位为秒，默认超时时间为60秒，可设定超时时间取值范围为10～86400秒（24小时）。单击 新建命令。相关操作 新建命令后，您可以查看命令...
基础术语
数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间戳与源实例当前时间戳的差值。同步延迟反映了目标实例跟源实例的数据时间差。当同步延迟为 0 时，表示源实例与目标实例数据完全一致。数据写入延迟仅在增量同步...
发送远程命令
在目标云手机的 操作 列，单击 图标，选择 远程连接>执行同步命令。您也可以同时选中多台云手机实例，在底部菜单中，选择 更多>执行远程命令，批量执行远程命令。在弹出的 执行远程命令 对话框中，在 命令内容 后输入Shell命令。本示例输入...
Windows实例配置IE代理服务器后Windows更新失败，提示...
执行以下命令，将IE代理服务器配置同步到WinHTTP代理服务器配置。netsh.exe winhttp import proxy source=ie 若系统返回信息如下图所示，则表示成功同步IE代理服务器配置至WinHTTP代理服务器配置。重新更新Windows系统，如果可以正常更新，...
Windows系统同步时间报错
问题描述 W indows系统同步时间报错，时间同步服务无法启动，提示找不到文件。问题原因 注册表错误导致系统同步时间报错。解决方案 查看系统日志中相关的错误信息，可以看到有注册表相关的错误信息。根据日志检查注册表中如下项是否有错误...
代理接入
针对无法直接连接到云安全中心服务端的线下IDC（Internet Data Center）机房、混合云、阿里云VPC（Virtual Private Cloud）等业务场景，您可以通过设置代理服务器，将无法连接公网的服务器（包括主机、容器）接入云安全中心进行防护。...
管理数据同步任务和存储表
同步任务 查看同步任务的 同步开始时间、同步时长、同步周期（小时 和 天）和任务运行的 状态（初始化、等待中、进行中、成功、失败、已终止 和 已过期）。您可在 同步周期 和 状态 列，单击筛选图标，查看指定条件的同步任务。运行日志 ...
全增量同步任务常见问题
并进行至少一条数据的变更，同时切换数据集成实时同步开始点位到当前时间。实时任务，运行报错：com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error!pls check.you need(at least...
镜像构建服务（ImageBuilder）指令集
RESTART RESTART 重启服务器的命令，该命令后不允许添加任何内容。RUN RUN echo hello;\ echo world;镜像构建的命令。同一个命令允许设置多行，换行需要在前一行的末尾添加换行符（\）。ENV ENV key value ENV key1="value1"key2="value2...
服务端接入说明
租户业务系统接入移动同步服务（Mobile Sync Service，MSS）的服务器端的开发流程主要分为以下两个步骤：接入 Java SDK，编写调用代码：采用 Java SDK 的方式进行接入。由于需求不同，编写调用代码分为 使用单数据同步接口 与 使用全局数据...
Linux服务器内存消耗过高
执行如下命令，统计所有进程占用的物理内存，相加后与free命令结果进行核对，确认是否有偏差。ps aux|awk '{sum+$6} END {print sum/1024}' 如果确认无偏差 后，为了进一步排查进程消耗内存，可执行如下命令，根据rss列排序结果，核实最大...
API 引入数据概览
内容引入模块支持标准的 API 内容引入，提供标准的内容引入协议，支持多源、多类型的内容快速入库。内容中台获取内容后，会进行数据校验及数据清洗，实现内容入库和缺失字段补齐。...同步成功率：成功引入的内容量在总引入内容量中的占比。
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
创建同步Hologres
起始时间 同步Hologres的最早数据同步时间 无 TimestampUnit 同步Hologres的时间单位 将数据中TIMESTAMP类型的数据（如果有），以TimestampUnit为单位进行转换后写入到下游系统的日期类型 说明 同步场景中的(dts/dts_old)同步模式适用于...
添加或移除单元节点
Ignore（遇到冲突，直接使用目标实例中的冲突记录）当数据同步遇到主键冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。同步任务不会中断。Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录）当数据同步遇到...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
PolarDB-X 2.0同步至自建Oracle
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 同步至自建Oracle。前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的...
PolarDB-X 2.0同步至Tablestore
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 同步至表格存储Tablestore。前提条件 已创建Tablestore实例。具体操作，请参见 使用流程。已获取Tablestore实例所属阿里云账号（主账号）的AccessKey ID和AccessKey ...
DescribeCommands-查询命令
查询您手动创建的命令或者阿里云提供的公共命令。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
服务器中毒导致监控数据不一致
问题描述 在服务器上执行top命令查看CPU使用率，与主机监控中的CPU使用率相差较大。问题原因 由于服务器中毒，top命令被替换，导致查看的数据被修改。解决方案 正常服务器上执行top命令，系统显示如下。建议通过安骑士查看，如有异常会检测...
StartDiskReplicaGroup-开始异步复制组
首次同步时，系统会先进行一次全量同步，之后会按照保证RPO（Recovery Point Object）的时间周期内进行增量同步。接口说明 一致性复制组功能支持的地域请参见 云盘异步复制概述。当使用自动同步（即设置 OneShot 为 false）时，一致性复制...
AnalyticalStoreSyncStat
分析存储同步状态。数据结构 message AnalyticalStoreSyncStat { optional AnalyticalStoreSyncType sync_phase=1;同步状态。optional int64 current_sync_timestamp=2;最新同步时间。} 名称 类型 描述 sync_phase AnalyticalStoreSyncType...
使用DataWorks同步iGraph数据
以增量数据由MaxCompute同步到iGraph为例，每隔一个周期上游节点应该会产出一个新分区数据存储需要同步的增量数据，一般分区名会与时间属性挂钩，那么同步的模板中${maxcompute_partition}参数可配置为此时间属性，并将此任务依赖上游分区...
从PolarDB PostgreSQL版（兼容Oracle）集群同步至自建...
一个数据同步作业只能同步一个数据库，如有多个数据库需要同步，您需要为每个数据库配置数据同步作业。为保障同步延迟时间展示的准确性，DTS会在源库中新增一个表，表名为 dts_postgres_heartbeat，结构及内容如下图所示。若源库有长事务，...
数据下载
反向同步时间间隔 最小值为15s，最大值为36000s，默认值为36000s。说明 如果Bucket内的对象比较多，建议反向同步间隔大于3600s，否则会由于反复扫描产生大量的OSS API的请求费用。复制模式高级选项 勾选 复制模式高级选项。在 复制模式高级...
- 产品推荐
- 这些文档可能帮助您