库表同步
库表同步 中的模板如下所示：检测点 模板 结构同步校验「结构同步」设置测试库同步免批「结构同步」关闭SQL执行能力「结构同步」关闭线上库的SQL执行能力「结构同步」设置线上库同步的审批流程 影子表同步校验「影子表同步」设置测试库同步...
2022年
v2.8.4.4 默认关闭Service Monitor自动同步 默认关闭Service Monitor自动同步，避免无效指标投递。v2.8.4.4 告警管理 支持联系人全球同步 联系人创建后，同步全球所有地域节点。不涉及 v2.8.4.4 通知集成新增EventBridge ARMS告警管理支持...
基本概念
数据推送后，客户端数据同步 SDK 需要通过 Biztype 将数据分发给对应的业务模块。C 持久化 持久化是将程序数据在持久状态和瞬时状态间转换的机制。在数据同步服务中，该机制产生了两种行为：持久化数据和非持久化数据。持久化数据：当⽤户...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
文档修订记录
开放平台概览 2023年4月更新记录 时间 特性 类别 描述 产品文档 2023.4.23 新增功能 数据集成 数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute，为满足您业务增长对传输资源的更高要求，MaxCompute推出了独享...
基本概念
数据推送后，客户端数据同步 SDK 需要通过 Biztype 将数据分发给对应的业务模块。绑定关系 指设备与用户标识的映射关系，对应绑定和解绑两个操作。变量 进行客户端实验时，变量需从实时发布（Mobile Delivery Service，简称 MDS）动态配置...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
DataWorks On Hologres使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至Hologres数据源，或将Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务等场景...
用户角色权限图谱
二级功能模块 普通用户 安全管理员 DBA 管理员 结构只读 数据传输 数据同步 支持 支持 支持 支持 支持 数据迁移 支持 支持 支持 支持 支持 数据订阅 支持 支持 支持 支持 支持 数据集成 离线集成 支持 支持 支持 支持 支持 流式ETL 支持 ...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
DataWorks On MaxCompute使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至MaxCompute数据源，或将MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务...
概述
边缘管理模块主要为您提供实现在云端（交通云控平台）对边缘终端进行统一管控功能。具体可提供边缘终端的入云，运行状态监测，以及其上软件的配置升级等功能。在交通云控平台（下文以“云端”代指）完成对边缘计算终端的统一管控、配置升级...
DataWorks模块使用说明
数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...
查看任务进度
在使用数据传输服务DTS（Data Transmission Service）执行任务的过程中，您可以通过控制台查看各模块的执行情况，以便您及时了解任务的进展。操作步骤 说明 本文以数据同步任务为例进行说明。进入同步任务的列表页面。登录 DMS数据管理服务...
功能发布记录 2022年之前
配置同步到 AnalyticDB for MySQL 3.0的全增量解决方案 DataWorks数据开发模块新增FTP Check功能节点。FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在，则启动调度下游任务，不存在，则按照配置的间隔时间重复...
模块激活
product 模块激活与 Spring 上下文 模块激活后，其 Spring 上下文的 spring.profiles.active 属性也会被同步配置，相应的 bean 也会被激活。示例如下：在 application.properties 中增加如下配置：...
媒体回流常见问题
本文汇总了媒体回流模块相关的常见问题。怎样使用媒体回流得到的广告数据？回流数据存储在 数据输出配置 中的阿里云MaxCompute项目中。您可以：通过阿里云Dataphin等工具，对MaxCompute项目中的数据进行处理，形成多维度标签，然后同步到...
查看数据迁移项目的详情
增量同步 增量同步任务开始后，会同步源库发生变化的数据（新增、修改或删除）至目标端数据库对应的表中。当源库不断有业务写入时，数据传输会在全量数据迁移启动前，启动增量拉取模块，以拉取源实例中的增量更新数据，对其进行解析、封装...
容灾大屏
说明 终端用户 上方展示了当前业务LDC中的同步链路总数和同步链路异常百分比。终端用户 两侧的百分比，表示本单元的 流量比例。各模块指标含义，请参见 附录。异地应用双活容灾 登录 AHAS控制台。在左侧导航栏，单击 多活实例。在 多活实例...
通用参考：切换资源组
在 网络与资源配置 步骤，单击资源组模块内的 更多选项，资源组方案 选择 独享资源组，然后修改资源组。保存任务并在运行成功后提交。批量任务修改 在左侧导航栏，单击 数据开发，然后单击，进入批量操作页面。节点类型 的筛选条件设置为 ...
MigrationReserved参数说明
参数 适用的接口 说明 autoStartModulesAfterConfig 配置迁移实例 配置同步实例 启动控制参数，取值：all：完成DTS任务的配置后，自动启动预检查模块及其后续所有模块。none：完成DTS任务的配置后，不启动预检查等模块，即需要手动启动任务...
同步日志
触发任务记录的事件 触发模块 记录任务的情况 只有日志的情况 身份提供方 IdP 从 IdP 批量导入（定时/手动）一次性全量同步到 IdP（暂不支持）IdP 单条数据变更同步到 IDaaS IDaaS 单条数据变更同步到 IdP 应用 一次性批量将账户同步给应用...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
现代IM系统中的消息系统—模型
Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括：模块 说明 Store Timeline存储库，类似数据库表的概念。Identifier 用于区分Timeline的唯一标识。Meta 用于描述Timeline的元数据，元数据描述采用free-schema结构，可自由...
实验介绍
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
快速体验
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
常见问题
云存储网关复制模式新玩法的部分复制是什么？云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？...
商品
商品 商品 管理是 供应商供货工作台 最重要的模块之一，供应商可参考 实践教程-供应商商品管理 章节了解商品铺货、修改供货价、同步商品等操作流程，也可以继续阅读本章节，了解工作台商品管理界面的各项功能。供应商可通过 商品 模块提供...
操作指南FAQ
云存储网关复制模式新玩法的部分复制是什么？云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？...
物模型开发
获取默认模块（非用户自定义模块）的服务列表 LinkKit.getInstance().getDeviceThing().getServices()设备的服务调用支持同步和异步两种方式。设备属性的设置和获取也是通过该服务调用的监听方式，实现物联网平台服务的下发。异步调用 设置...
商品
商品管理 商品 管理是 渠道商供货工作台 最重要的模块之一，渠道商可参考 实践教程-渠道商商品管理 章节了解商品铺货、修改供货价、同步商品等操作流程，也可以继续阅读本章节，了解工作台商品管理界面的各项功能。渠道商可通过 商品 模块...
基线管理
在 基线管理 模块，您可以拉取相关对接产品的基线数据，使高可用管理平台上的产品应用数据与其保持同步。从左侧导航栏进入 配置管理>基线管理 页面，单击页面右上方的 数据同步 按钮开始同步数据。基线管理页面展示了当前租户下的 PaaS ...
离线同步日志分析
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据实例 等页面，通过筛选条件过滤出需要查询的实例，...
MSHA支持模块列表
本文介绍单地域和多地域场景分别支持的功能模块。MSHA目前支持的功能模块如下：场景 支持的功能模块 同城多活 接入层 MSFE 应用层 SpringCloud Dubbo EDAS-HSF RocketMQ SchedulerX Xxl-Job 异地应用多活 接入层 MSFE 应用层 SpringCloud ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
查看热点表信息
数据同步和迁移任务中数据频繁变更的表（热点表），可能会导致任务延迟超过1000毫秒。您可以通过控制台查看热点表信息，判断延迟是否由于热点表所导致，并根据实际情况开启热点合并功能以降低任务延迟。前提条件 已创建同步或迁移实例。若...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
SDK同步与异步通信模式
本文介绍SDK同步与异步通信模式。同步通信模式 大多数嵌入式平台移植C Link SDK使用同步底层通信模型，能够支持C Link SDK以轮询方式主动收取网络报文。例如嵌入式Linux、Windows系统，以及大部分配备LwIP协议栈通信的RTOS（FreeRTOS系统）...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
体验实例规格升级
在 实例进展 区域，单击 增量写入 模块。在 基本信息 页签，单击 速率 后的 免费升级。在弹出的对话框，单击 体验。免费升级 变更为 免费升级体验中。可选：将鼠标光标移动至 免费升级体验中，在气泡中查看体验的到期时间。说明 您也可以...
- 产品推荐
- 这些文档可能帮助您