数据集成系统出现异常怎么办-数据集成系统出现异常怎么办文档介绍内容-阿里云

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...

DataWorks公共数据集成（调试）资源组下线公告

为了提供更全面的服务体系、聚焦满足客户需求和提供更清晰简化的使用体验，DataWorks将于2024年04月01日起下线公共数据集成资源组。下线产品 DataWorks公共数据集成资源组下线时间及影响 2024年4月1日起，用户的新建任务将暂停使用...

公共数据集成（调试）资源组

本文为您介绍公共数据集成（调试）资源组相关问题。公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组支持哪些类型的任务？公共数据集成（调试）资源组支持哪些网络类型？公共数据集成（调试）资源组的性能限制公共数据...

MySQL数据源

实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...

异常指标监控

背景信息用户系统中的异常数据（例如运维系统的CPU消耗突然增高或某平台突然产生大量不良信息）属于平台异常指标。如果能实时高效地监控平台指标，并对各种异常指标进行预防和实时预警，将大幅度提升平台的智能化安全防卫能力。解决方案 ...

GBase8a数据源

使用限制目前Gbase8a Reader和Gbase8a Writer仅支持使用新增和使用独享数据集成资源组。insert into.：当主键或唯一性索引冲突时，无法写入冲突的行。目的表所在数据库必须是主库才能写入数据。说明整个任务需要至少具备 insert into.的...

Vertica数据源

推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持字符串、浮点、日期等其它类型。如果您指定其它非支持类型，Vertica Reader将报错。如果设置...

收费常见问题

本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。

离线同步数据质量排查

背景信息讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，...

自动快照概述

当您的数据库出现异常时，您可能来不及手动创建快照。这时您可以通过最近的自动快照来恢复数据库文件系统，降低损失。您也可以将自动快照策略设置在系统定期维护之前，免去了您手动创建快照，也能避免因人为疏忽忘记创建快照。使用限制 ...

DB2数据源

数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...

HybridDB for MySQL数据源

推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持字符串、浮点、日期等其他类型。如果您指定其他非支持类型，忽略splitPk功能，使用单通道...

LogHub（SLS）实时ETL同步至Hologres

网络与资源配置：在下拉框中分别选择已创建的LogHub数据源、Hologres数据源、独享数据集成资源组，单击测试所有连通性，保证资源组与数据源之间的网络连通性。配置SLS来源信息。单击页面上方的 SLS来源，编辑SLS来源信息。选择需要同步的...

Oracle数据源

DataWorks的数据集成实时同步Oracle数据是基于Oracle Logminer日志分析工具实现的，Oracle仅支持在主库中为主库或备库开启补充日志。离线同步支持读取视图表。支持的字段类型字段类型离线读（Oracle Reader）离线写（Oracle Writer）实时...

数据引入概述

背景信息如果您是在 2020年4月之后购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）...

数据引入概述

背景信息如果您是在 2020年4月之后购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）...

查看历史任务

数据集成任务会在每个调度时间点生成一个数据迁移任务，通过DTS控制台您可以查看所有已经运行完成的数据迁移任务，了解该任务的执行情况。前提条件已创建数据集成任务，相关案例请参见配置RDS MySQL间的数据集成任务。操作步骤登录数据...

资源组操作及网络连通

如何切换任务在调度系统中执行所用的资源组在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组：在数据开发界面走发布流程修改生产环境任务执行使用的资源组。说明以下方式修改资源组请记得发布，标准模式下提交操作...

运维中心概述

调度任务运维大屏以及数据集成离线同步与实时同步任务运维专页，针对任务运维关键指标的查看。下表为运维中心各模块功能使用的简单说明：模块描述环境支持情况查看运维大屏运维大屏以报表的形式为您展示任务的运行的重要指标。包括 ...

阶段二：数据安全防护措施及策略增强建设

及通过数据集成任务将数据从生产同步至开发环境时的脱敏。说明必须要先完成数据分级分类，才能针对已识别到的敏感数据进行脱敏。效果如下：详情请参见数据脱敏能力概述。场景四：数据完整性与可用性专项治理在整体数据链路的处理过程中...

独享资源组

切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...

数据传输作业：数据集成

MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步离线（批量）的数据通道通过定义数据...

附录：ECS自建数据库的安全组配置

添加安全组进行ECS自建数据源的数据同步时，如果同步任务运行在：独享数据集成资源组上需要将独享数据集成资源组的EIP地址段或独享数据集成资源组绑定的交换机网段添加至ECS安全组上。通过外网同步数据时，需获取并添加独享资源组本身的...

修改调度策略

对于已经配置完成的数据集成任务，如果由于业务需求变更需要重新调整调度策略，您可以参照本文的方法修改调度策略。前提条件已创建数据集成任务，相关案例请参见配置RDS MySQL间的数据集成任务。操作步骤登录数据传输控制台。在左侧...

通过数据集成导入导出MongoDB数据

数据集成DataWorks是稳定高效、弹性伸缩的数据同步平台，为阿里云大数据计算引擎（MaxCompute、AnalyticDB和OSS等）提供离线、批量数据的进出通道。本文介绍如何通过数据集成导入导出MongoDB数据。关于通过数据集成导入导出MongoDB数据的...

实例画像

数据库自治服务DAS...单击立即处理，进入风险处理页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击立即处理跳转到自治功能页面，根据使用建议完成相关自治功能的配置。

实例画像

数据库自治服务DAS...单击立即处理，进入风险处理页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击立即处理跳转到自治功能页面，根据使用建议完成相关自治功能的配置。