Kafka实时入湖

数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理,目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前,我们需要清楚Kafka入湖过程中目标schema包含哪些字段,字段列表如下。字段 ...

什么是自动驾驶开发平台

数据管理提供自动驾驶采集数据在云上数据预处理、预标注、管理、检索、重组、回放、输出到仿真或训练系统中的能力:非结构化数据处理针对非结构化数据处理提供DAG调度和并行计算能力,构建自动调度的10倍加速的自动驾驶数据工作流 多模态...

联邦建模概述

联邦数据处理:对联邦表中的数据进行预处理,包括数据预处理和预处理应用。模型训练:使用预处理过的训练集数据训练模型。模型评估:使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示,其中,离线样本生成的三种...

任务配置

数据预处理 数据预处理节点的构建流程如下:将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中,关键参数说明如下:数据预处理算子名称:选择所需算子;可选项为您自定义的或平台自带的数据预处理算子(可在“数据定义>...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

什么是ETL

离线数仓加速:通过流数据处理先将数据预处理至数仓,后续再对数仓数据进行深度挖掘。既不影响业务库运行,也能满足离线数仓对外服务。报表提速:构建实时报表体系,不仅大幅提升报表产出效率,还能支持更多实时分析场景,满足了企业数字化...

流式ETL

离线数仓加速:通过流数据处理先将数据预处理至数仓,后续再对数仓数据进行深度挖掘。既不影响业务库运行,也能满足离线数仓对外服务。报表提速:构建实时报表体系,不仅大幅提升报表产出效率,还能支持更多实时分析场景,满足了企业数字化...

确认表血缘

导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据,但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游,则可能会出现A表数据未产出,当前节点便开始执行,最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...

什么是云原生数据湖分析

寻求安全的数据处理解决方案。DLA所有的库表及存储的数据都有一整套安全的方案,避免数据被误用。寻求低成本的数据处理方案。DLA方案是完全Serverless的解决方案,是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。...

迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...

对于无主键且包含 LOB 类型字段的表,反向增量会出现数据质量问题数据源标识和用户账号等,在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...

恢复数据库

数据库备份DBS 提供数据恢复能力,通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中,可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作,请参见...

报错源库或目标库连接失败

本文介绍检查出现源库或目标库连接失败的处理办法。问题描述 在配置迁移或同步任务时,测试源库和目标库的连接都是正常的,但是在任务的检查环节中,出现预检查失败,并提示“源库或目标库连接失败“,如下图:可能原因 源库和目标库的...

外部表常见问题

问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时,如果数据字段存在DATETIME类型,报错ODPS-0123131,如何解决?在MaxCompute上访问OSS外部表,编写UDF本地测试通过,上传后报错内存溢出,如何解决?通过外部表处理OSS...

常见问题

数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求,可以 通过钉钉(钉钉通讯客户端下载地址)进入到DTS客户交流钉钉群(群号:68325004196或68640008972),进行咨询。计费问题 DTS如何计费?...

日志数据预处理与投递

本视频介绍如何对日志数据进行预处理与投递。

“目标库对象数据存在性检查”产生警告

问题描述 在配置同步或迁移实例的 检查 阶段,目标库对象数据存在性检查 出现警告,检查项的详情页面如下图所示:可能原因 DTS任务的目标端中的数据库或数据表有存量数据(例如目标Redis中用于接收数据的DB存在数据),且在 配置任务对象...

数据处理与路由规则

通过配置数据处理规则,您可以在设备数据进行上链之前,对数据进行预处理,以进行脱敏和保护。通过配置路由规则您可以在“产品”维度把某产品下的设备数据路由到区块链中,通过切换不同的路由规则,您可以灵活的把设备数据路由到不同的区块...

“同名对象存在性检查”产生警告

问题描述 在配置同步或迁移实例的 检查 阶段,同名对象存在性检查 出现警告,检查项的详情页面如下图所示:可能原因 DTS任务的目标库中存在与源库同名的结构对象(例如目标MySQL数据库中存在与源库同名的表),且在 配置任务对象及高级...

常见问题

问题原因:出现Spark查询hudi数据重复,通常是因为Hudi不支持Spark DataSource方式读取导致的。解决方法:您需要在执行查询Hudi表的命令时,添加上 spark.sql.hive.convertMetastoreParquet=false。Hive查询Hudi数据重复,如何处理问题...

DTS在数据迁移过程中检查失败

详细信息 当您在使用DTS进行数据迁移过程中检查失败,请参见以下表格内容进行修复:检测项 检测内容 失败原因 解决方法 源库连接性检查 检查DTS服务是否能够连通要迁移的源数据库。数据库账号或数据库密码不正确。源数据库对来源IP进行了...

备份数据库

数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例,向您介绍如何备份数据库。说明 关于各类数据库备份方案,请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源,请参见 手动...

PolarDB PostgreSQL版间的迁移

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

PolarDB PostgreSQL版(兼容Oracle)间的迁移

升级到2.0版本还意味着您可以与PostgreSQL社区保持同步,提供更多的资源和支持,帮助您解决问题并学习数据库的最佳实践。强烈建议您升级到 PolarDB PostgreSQL版(兼容Oracle)2.0版本,充分利用其优势。迁移评估 在您考虑进行系统迁移之前...

从自建MySQL迁移至RDS实例

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建MySQL迁移至 RDS MySQL 或RDS ...常见问题 Q:检查失败如何处理?A:详情请参见 源库连接性检查。Q:迁移失败的任务如何处理?A:详情请参见 修复迁移失败的任务。

升级评估

为了保证升级链路的顺利进行以及更好的升级体验,PolarDB 为大版本升级提供了升级评估功能,您可以在开始升级前,对集群状态、升级任务依赖、源集群属性信息等前提条件进行校验,提前发现影响升级进度的前置条件并处理,以降低升级过程中...

迁移评估

为了保证迁移链路的顺利进行以及更好的迁移体验,PolarDB 提供了迁移评估功能,您可以在开始迁移前,对实例状态、迁移任务依赖、源实例属性信息等前提条件进行校验,提前发现影响迁移进度的前置条件并处理,以降低迁移过程中的处理成本和...

从自建MySQL迁移至MyBase MySQL

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据迁移任务不会被启动。说明 如果目标库中同名的表...

版本发布记录

支持分区级别的预处理解决预聚合问题。半结构化JSON object类型支持如下特性:支持JSON object类型存储。支持JSON对象属性按照独立列存储。支持实验性功能,需要设置开关 set allow_experimental_object_type=1。性能优化 INSERT性能提升...

从Amazon RDS SQL Server全量迁移至阿里云

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

从Amazon Aurora PostgreSQL全量迁移至阿里云

数据库账号的权限要求 数据库 结构迁移 全量迁移 Amazon Aurora PostgreSQL pg_catalog的usage权限 迁移对象的select权限 阿里云RDS PostgreSQL 迁移对象的create、usage权限 schema的owner权限 全量数据迁移流程 为解决对象间的依赖,提高...

RDS MySQL助力MySQL 5.7升级8.0

经常升级失败并且难以分析失败原因 尽管社区提供了相应的检查工具和帮助文档,以帮助用户进行升级前的检查和问题解决。然而在实际操作中经常会遇到升级失败的情况,出现各种各样的错误,并且很难从日志信息中逐一分析升级失败的原因。升级...

从Amazon RDS for PostgreSQL全量迁移至阿里云

数据库账号的权限要求 数据库 结构迁移 全量迁移 Amazon RDS for PostgreSQL pg_catalog的usage权限 迁移对象的select权限 阿里云RDS PostgreSQL 迁移对象的create、usage权限 schema的owner权限 全量数据迁移流程 为解决对象间的依赖,...

从Amazon RDS for PostgreSQL增量迁移至阿里云

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据迁移任务不会被启动。说明 如果目标库中同名的表...

OceanBase(MySQL模式)迁移至RDS MySQL

数据传输服务DTS(Data Transmission Service)支持将OceanBase数据库迁移至 RDS MySQL 实例,帮助您解决数据库运维的烦恼。前提条件 源OceanBase数据库需为社区版,且为4.X 版本。已创建存储空间须大于源OceanBase数据库的目标 RDS MySQL ...

PolarDB MySQL版间的单向同步

注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

跨阿里云账号同步RDS MySQL实例

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

从ECS上的自建MySQL同步至PolarDB MySQL版

注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

DAS Auto Scaling弹性能力

针对上述两类问题数据库自治服务DAS进行了服务创新,使数据库服务具备自动扩展存储和计算资源的技术能力,可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍,包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...

PolarDB MySQL版间的单向同步

注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

Logview诊断实践

数据跨集群复制阶段 问题现象:子状态列表里面出现多次 Task rerun,Result 里有错误信息 FAILED:ODPS-0110141:Data version exception。作业看似失败了,实际还在执行,说明作业正在做数据的跨集群复制。产生原因一:Project刚做集群迁移...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 Redis 版 数据传输服务 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用