数据管理DMS的数据追踪功能无法追踪到数据
问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。请确认过滤条件是否选择错误，例如，希望追踪删除类型的数据，但是选择...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
在RDS SQL Server中出现阻塞
问题描述 在云数据库RDS SQL Server中出现阻塞情况。问题原因 事务之间锁资源争抢导致出现阻塞情况。解决方案 在云数据库RDS SQL Server中发生锁现象时，通过执行下面的脚本，获取到锁的信息。select dtl.request_session_id as waitSID,...
错误代码
xx ERROR 1003:Transaction error,need to rollback ERROR:Server connection execute error:x ERROR:Access denied for user‘xx’ERROR 7001:Table rule execute error 问题描述：出现该错误是表示规则计算出错，请检查数据访问代理管控...
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
迁移失败常见原因及解决方案
下面介绍一些常见的迁移失败问题分析及解决方案：案例一：出现“because downloader get inputstream failed”报错 现象描述 某客户迁移百度云BOS的数据至阿里云OSS时，迁移失败。迁移失败文件列表产生如下报错：查看百度云BOS的日志，发现...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
数据防泄漏典型案例
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
三个实例相互进行双向同步后出现数据缺失
问题描述 通过DTS配置三个实例之间的双向同步后，发现数据出现缺失。例如下图所示的配置场景：可能原因 双向同步场景的关键在于防止数据回环，不适用于三个实例间的互相同步。以上图为例：DB1的数据通过DTS同步至DB2时，为防止数据回环至DB...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
实例会话
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。通过实例会话功能，您可以实时查看目标实例会话的客户端信息，所执行的命令和已连接的时长等信息，并可以根据业务需求终止异常会话。前提...
预检查常见问题
本文介绍目标数据库PolarDB O引擎在预检查过程中遇到的常见问题和解决方案。目标库账号权限错误 问题描述 目标库账号无权限：目标库账号权限不足。原因 生成迁移计划时，用户名 为目标数据库的普通账号。解决方案 重新生成迁移计划，用户名...
查看治理结果
您可以查看目标治理项问题的名称、问题描述、解决方案、问题数量、扣分情况等基本信息。查看解决方案。单击目标治理项问题的 关联解决方案 或 查看解决方案，即可跳转至 治理项解决方案，查看数据治理中心提供的该类问题的出现原因及解决...
任务运行失败
MySQL节点报错：暂不支持MySQL节点驱动 问题描述添加MySQL数据源时，选择了非连接串模式创建的数据源，导致运行任务时失败，报错信息为 sql execute failed!暂不支持的jdbc驱动。问题原因出现上述报错通常都是选择了非连接串模式创建的...
MySQL节点
问题原因 出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。解决方案 重新选择使用连接串模式创建的数据源。您可以参考 配置MySQL数据源 进入 数据源管理 页面，单击目标数据源 操作 列的 编辑，在数据源编辑页面查看创建...
计算机型号及浏览器版本常见问题
本文介绍由于计算机型号及浏览器版本的原因导致DataV产品使用卡顿的问题现象及解决方法。MacBook用户编辑器卡顿问题 问题现象 当您使用MacBook时，打开DataV编辑页面之后使用卡顿，CPU占用率飙升。该问题一般发生于如下场景：使用MacBook当...
计算机型号及浏览器版本常见问题
本文介绍由于计算机型号及浏览器版本的原因导致DataV产品使用卡顿的问题现象及解决方法。MacBook用户编辑器卡顿问题 问题现象 当您使用MacBook时，打开DataV编辑页面之后使用卡顿，CPU占用率飙升。该问题一般发生于如下场景：使用MacBook当...
结构迁移/订正常见问题
问题描述 源库迁移到PolarDB O引擎数据库时，结构订正提示“MCSS TABLE T_CUST_BUSINESS字段前面的注解缺失，每个字段前面都必须添加注解”。原因 元数据信息大小写敏感，在目标库中查不到对应的列。解决方案 登录 PolarDB控制台。在页面...
DTS同步数据到AnalyticDB MySQL时出现“modify ...
问题描述 数据同步过程中，出现 'id' is LONG type,Can't change column type to DECIMAL 或者 modify precision is not supported,col=id,type decimal,old=11,new=21 报错信息。问题原因 数据同步过程中，存在不支持修改的字段类型。解决...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
使用DTS进行增量迁移时没有同步数据
问题描述 使用阿里云数据传输服务DTS的增量迁移功能时出现延迟，或者使用数据同步功能时很长时间没有同步数据。问题原因 增量迁移没有同步数据的原因如下：目标或者源端实例运行状态异常。源或者目标实例上进程被阻塞。源实例以及目标实例...
数据资产等级定义
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低，即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总，则根据其最重要程度...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
功能发布记录（2023年）
2023.3.15 所有地域 所有DataWorks用户 处理治理项问题 数据服务的加速服务启动商业化 加速服务面向MaxCompute数据源生成在线API服务，无需导出MaxCompute数据，即可提供良好的查询性能与效率，满足在线查询需求。2023.3.1 华东2（上海）、...
历史版本常见问题
版本范围 5.4.11-*5.4.12-*BLOB字段被Update时有概率出现乱码风险 现象描述 非下推update语句对Set子句中的BLOB类型数据处理存在问题，导致非下推update语句写入BLOB类型数据时按照Char类型进行了类型转换，产生不符合预期的结果。...
数据管理DMS中出现“Data truncated for column”的...
问题描述 在数据管理DMS中执行DDL语句进行变更时，系统提示以下错误。Data truncated for column 问题原因 此问题一般发生在更新字段长度时，更新后的字段长度小于字段原长度的场景，即改小字段长度。例如，字段原长度为128字节，存储了...
ListDIProjectConfig
调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息...
为什么要升级到MongoDB的新版本
简要描述：在分片集群实例中，若未及时清理孤立文档，可能会导致在迁移数据时出现数据不一致的问题。推荐版本：4.4及以上版本。推荐理由：当一个Chunk成功迁移到新的分片后，源分片中的该Chunk会延期删除。孤立文档通常是因为迁移过程中断...
由于数据文件过多导致集群存储空间被占满的解决办法
本文介绍了由于数据文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群可能会由于数据文件长时间未整理导致占用过多存储空间，且在集群的 空间分析 页面的 空间变化趋势 区域中确认数据...
使用须知
加盐通常用来解决数据热点和范围查询同时存在的场景。原理介绍请参见：Phoenix社区文档 和 中文文档。加盐有较强的适用场景要求，场景不合适将会达不到预期期望：写热点或写不均衡：比如以时间作为第一列主键，永远写表头或者表尾。需要...
MaxCompute UDF（Python）常见问题
类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF运行代码时，所处的项目不正确。即MaxCompute UDF不在...
使用DMS的数据追踪功能追踪PolarDB出现报错
问题描述 使用DMS的数据追踪功能追踪云原生关系型数据库PolarDB的Binlog日志时（前提是您开启了Binlog日志），出现了如下报错。A slave with the same server_uuid/server_id as this slave has connected to the master;the first event '...
MySQL系统文件导致实例空间满的解决方法
说明 对于RDS MySQL 8.0，系统会自动清理undo文件，不会出现此问题。解决方法 步骤一：解锁实例。扩容实例存储空间后可解锁实例。扩容存储空间的详细操作请参见 变更配置。步骤二：清理undo文件。对于 RDS MySQL 5.7：连接RDS MySQL实例并...
XYZ栅格，为什么出现了蓝色的地球
栅格数据中是否存在透明的瓦片，如果存在透明瓦片则可能会出现蓝色的地球，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。栅格数据源是否只在指定城市...
版本发布记录
config.xml参数修改 2020年08月 功能名称 描述 相关文档 数据均衡扩容 保证增加集群节点时数据分布均匀，避免数据倾斜问题。无 请求查询管理 请求查询管理功能，支持慢SQL定位和运行请求中断。查询管理SQL 新增4core 16G规格 新增4Core16G...
基于Client SDK数据写入
错误码名 错误码值 描述 COMMIT_ERROR_DATA_LIST 101 commit中某些数据出现异常，会返回异常的数据。说明 通过 e.getErrData()即可获得异常数据List，此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生，因此在这些操作的...
数据保护机制
注意事项 设置Exception Policy可能存在TOCTOU（Time-of-Check to Time-of-Use）数据泄露问题（即Race Condition问题）：问题描述 假设，用户的数据流出流程如下：（TOC阶段）用户A向项目所有者申请导出表t1的数据。项目所有者对t1的数据...
- 产品推荐
- 这些文档可能帮助您