迁移MySQL至Hologres
本文将为您介绍，MySQL数据平滑迁移至Hologres的操作方法，以及迁移完成后MySQL与Hologres查询语句与函数的使用区别，方便您更加快速的完成数据迁移。数据迁移方法 下表将根据您的迁移类别，为您介绍该类别适用的场景以及迁移方法。说明 如...
Logstash FAQ
本文介绍使用阿里云Logstash的常见问题。Logstash支持将数据源配置为DRDS吗？如何将公网数据导入或导出到Logstash中？使用自建Kafka作为Logstash的输入或者输出时，出现错误日志，如何处理？阿里云Logstash的JDBC支持MySQL数据库吗？...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
灾备方案介绍
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
现代IM系统中的消息系统—模型
本章节主要介绍表格存储（Tablestore）的Timeline模型基本功能以及核心组件，并且会通过IM消息系统场景，介绍如何基于Timeline实现IM场景下消息同步、存储和索引等基本功能。Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括...
功能发布记录 2022年之前
实时同步至 AnalyticDB for MySQL 3.0，可以在一个任务中一次同步多个表的实时信息，实时同步时已经自动支持添加列的DDL同步，即源端增加列时目标端的表也会增加相应列。2021.4.20 全部地域。配置同步到 AnalyticDB for MySQL 3.0的全增量...
跨云账号单向同步云数据库Redis实例
如为高版本同步至低版本，可能存在数据库兼容性问题。全量数据初始化时DTS将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。建议在执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。在DTS同步期间...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
如何与其它模块建立关联？
问题描述 如何与其它模块建立关联？问题原因 同模块实体建立关联直接连线即可；跨模块关联需在面板中拖入其他模块实体。
Dataphin集成任务同步失败报“Record columns has no ...
概述 通过修改输入端的字段大小写来解决同步失败问题。问题描述 集成任务从 AS400->odps 同步失败报错 Record columns has no sourceColName[n5mont]。问题原因 Dataphin集成任务同步过程中存在字段大小写敏感校验。从源端数据库（AS400）...
DTS任务中配置ETL典型应用
本文介绍在DTS任务中如何通过配置ETL，解决源实例与目标实例的数据不兼容问题和数据脱敏问题。前提条件 已创建源和目标数据库实例，本文以RDS MySQL间同步为例，创建方法，请参见 创建RDS MySQL实例。目标实例的存储空间须大于原实例占用的...
日志主题（Topic）
例如系统A由前端HTTP请求处理模块、缓存模块、逻辑处理模块和存储模块组成，您可设置前端HTTP请求处理模块日志的Topic为http_module，缓存模块日志的Topic为cache_module、逻辑处理模块日志的Topic为logic_module和存储模块日志的Topic为...
成员管理、数据源、变更管控权限列表
Y Y N N N N N 启用角色 Y Y N N N N N 新建成员 Y Y N N N N N 删除成员 Y Y N N N N N 计算管理 计算地址校验 Y Y N N N N N 计算地址配置 Y Y N N N N N 智能引擎 自定义任务参数 Y Y N N N N N 变更管控 新建变更规则 N Y N N N N N ...
成员管理、数据源、变更管控权限列表
Y Y N N N N N 启用角色 Y Y N N N N N 新建成员 Y Y N N N N N 删除成员 Y Y N N N N N 计算管理 计算地址校验 Y Y N N N N N 计算地址配置 Y Y N N N N N 智能引擎 自定义任务参数 Y Y N N N N N 变更管控 新建变更规则 N Y N N N N N ...
如何使用钉钉连接模块集成钉钉侧能力
魔笔平台提供钉钉连接模块，提供与钉钉组织架构进行数据打通的能力，本文介绍如何使用钉钉连接模块。适用场景 钉钉连接模块通过连接器接入了钉钉开放平台中和组织架构相关的API，用户可以通过调用钉钉连接模块中的集成API和钉钉进行数据的...
光模块故障
本文介绍光模块发生故障的原因和处理方法。问题现象 光模块连接后，接口指示灯没有变为绿色。可能原因 光模块不兼容或损坏。智能接入网关设备支持的光模块型号请参见 光模块型号。说明 目前仅SAG-1000设备支持光模块插入。解决方案 通用多...
支持的数据源及同步方案
支持的数据源及同步方案 数据集成包括离线同步、实时同步和全增量同步任务三个功能模块，您可以根据各模块对数据源的支持情况，选择对应的功能模块进行同步任务的配置。DataWorks离线同步为您提供数据读取（Reader）和写入插件（Writer）...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
通过Jira账号信息集成Jira工单系统
当Jira问题处于设置的状态时，Jira问题将会被认定为关闭，问题对应的告警操作将不再同步到该问题上。Jira问题状态选项：待办 处理中 正评审 完成 说明 建议选择Jira问题关闭时的状态为 完成。如果选择其他状态，当问题状态变更为完成时，告...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
如何在应用中直接使用钉钉的组织架构进行组织管理
模块介绍 钉钉组织架构模块通过引用 系统组织架构模块 和 钉钉连接模块，完成了系统组织架构模块与钉钉组织架构模块信息的连接。同时通过系统组织架构模块向开发者提供了管理钉钉组织架构模块的能力，方便开发者快速复用。钉钉组织架构模块...
开通LTS
LTS服务规模推荐 迁移数据量 同步服务节点配置 同步服务节点数 n核 8 GB 1 1T<n核 8 GB 2~5 10T<n 4 核 8 GB 5以上 购买LTS 登录 HBase管理控制台。在 集群列表 页面，单击 创建BDS集群。按照界面提示设置以下购买参数。参数 说明 商品类型...
创建同步计划
添加完源端和目的端数据源，您就可以创建同步计划进行数据同步任务。本文介绍创建同步计划的操作步骤。前提条件 已开通阿里云 云备份 服务。开通 云备份 不收取任何费用，数据同步功能公测中，不收取任何费用。执行数据同步任务的机器已...
机器组简介
在VPC等自定义网络环境中，可能出现不同服务器IP地址冲突的问题，导致日志服务无法管理Logtail。使用自定义标识可以避免此类情况的发生。多台服务器通过同一个自定义标识实现机器组弹性伸缩。您只需为新增的服务器配置相同的自定义标识，...
启动加速-模块并行启动
该依赖树表示：模块 B 和模块 C 依赖模块 A 模块 F 依赖模块 E，模块 E 依赖模块 D 该依赖树会保证：模块 A 必定在模块 B 和模块 C 之前启动 模块 D 在模块 E 之前启动，模块 E 在模块 F 之前启动 依赖树没有定义模块 B 与模块 C，以及模块...
查看索引同步状态
常见问题处理 如果BDS界面中显示同步的延迟过大，超出业务承受的范围，用户可以通过自查解决问题。同步点位不再推进 如果发现BDS界面中的同步点位不再推进，通常是在HBase中写入了不合法的数据导致同步失败。此时用户可以点击右侧的详情，...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
无侵入观测概述
预处理：预处理模块会根据用户态配置进行数据的拦截、丢弃以及数据协议的推断，只有符合需求的数据才会被传递给SendToUserSpace模块，其他数据将被丢弃。SendToUserSpace模块会通过eBPF Map将符合需求的数据由内核态传输到用户态。User ...
媒体回流常见问题
本文汇总了媒体回流模块相关的常见问题。怎样使用媒体回流得到的广告数据？回流数据存储在 数据输出配置 中的阿里云MaxCompute项目中。您可以：通过阿里云Dataphin等工具，对MaxCompute项目中的数据进行处理，形成多维度标签，然后同步到...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
实时同步DataHub的数据至Hologres
将DataHub数据同步至Hologres适用于需要实时数据分析、实时监控、实时报表和复杂数据结构处理的场景，通过结合DataHub和Hologres的能力，可以提升数据处理和分析的效率和准确性。本文介绍如何创建DataHub数据同步任务以及常见问题。背景...
数据开发权限列表
Y Y N N N 保存SQL代码任务 Y Y N N N 删除SQL代码任务 Y Y N N N 下线SQL代码任务 Y Y N N N 提交SQL代码任务 Y Y N N N 刷新SQL代码任务 Y Y N N N 移动SQL代码任务 Y Y N N N 执行SQL代码任务代码 Y Y N N N 预编译SQL代码任务代码 Y Y ...
数据开发权限列表
Y Y N N N 保存SQL代码任务 Y Y N N N 删除SQL代码任务 Y Y N N N 下线SQL代码任务 Y Y N N N 提交SQL代码任务 Y Y N N N 刷新SQL代码任务 Y Y N N N 移动SQL代码任务 Y Y N N N 执行SQL代码任务代码 Y Y N N N 预编译SQL代码任务代码 Y Y ...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
概述
盒子既可以独立工作，高效支撑本地业务的实时智能处理与执行；同时也可与云端联动，实现边缘数据可即时上云，云上方案可按需下发的，大脑全局优化与局部神经快速响应的完美协作。如下图所示，当前版本边缘管理包括“边缘概览”“边缘节点”...
全增量实时同步至Hologres
全增量实时同步方案为您先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建全增量实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，...
- 产品推荐
- 这些文档可能帮助您