PolarDB MySQL版迁移至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群的数据迁移至MaxCompute。前提条件 已开通MaxCompute并创建MaxCompute项目。更多信息，请参见 开通MaxCompute和DataWorks 和 创建MaxCompute项目。...
连接失败常见报错
为什么副本集实例写入数据报错：NotMaster、NotWritablePrimary或Time out after 30000ms while waiting for a server that matches writableServerSelector？reason:TopologyDescription { type:'ReplicaSetNoPrimary',当前连接的副本集...
常见问题概览
在对MySQL数据库进行创建索引等操作时报错 通过数据变更或SQLConsole执行DML语句时提示“Data truncation:Data too long”数据库返回“Incorrect string value”报错 数据管理DMS中出现“Data truncated for column”的原因与解决方案 在...
查询结果不符合预期的常见原因
只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现数据写入后非预期不可见的情况。但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、...
PolarDB-X 1.0迁移至PolarDB-X 2.0
如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。其他限制 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独...
离线同步任务调优
} } throttle 包括 true 和 false：当 throttle 设置为 true 时，表示限速，您必须设置 mbps 具体的数据值。如果没有设置 mbps，程序运行将会出错或者速率异常。当 throttle 设置为 false 时，表示不限速，则 mbps 的配置无意义。流量度量...
文档更新动态（2022年）
更新说明 什么是Dataphin 添加派生指标和衍生指标 新建注册上挂标签 2022年07月19日 增加回收站功能 可以将删除的数据处理任务还原。新增说明 管理回收站的资源对象 2022年07月19日 实时研发新增支持Ververcia Flink引擎 支持Flink SQL流批...
MapReduce常见问题
解决措施 这个报错比较常见的原因是Reduce里做了大循环，例如存在长尾数据或者笛卡尔积。您需要尽量减少这种大循环的情况。执行MaxCompute MapReduce时，报错java.security.AccessControlException，如何解决？问题现象 执行MaxCompute ...
创建PolarDB-X 1.0数据订阅任务
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。若您订阅的单行数据超过16MB，则不支持消费，...
管理Dataphin数据源权限
如果需要查看字段的数据，则选择 查询权限。权限账号 系统默认选择为 应用。权限账号所属项目 系统默认选择为默认项目。应用 选择应用的分组及应用。有效期至 选择权限的截至时间。您也可以选择自定义后，指定截至时间。申请原因 填写申请...
DTS同步数据到AnalyticDB MySQL时出现“modify ...
问题原因 数据同步过程中，存在不支持修改的字段类型。解决方法 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议...
调试预览指南
单击选择一个报错记录，右侧会弹出 数据快照 框，框内将进一步说明报错时的数据、回调ID（如有）、页面临时变量（如有）以及报错堆栈情况。表 1.组件日志记录的常见报错类型 报错类型 类型说明 数据源报错 组件请求数据源发生错误时，产生...
补数据
产生原因 补数据并行控制是，补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行，当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自...
分区表常见问题
分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计信息优化，建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区？一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
添加数据源
问题现象 在 数据源管理 页面添加 RDS MySQL 数据源时，报错：失败原因：[DB_QUERY_ERROR]{"jdbcUrl":"jdbc:mysq:/10.10.10.1:5119?allowLoadLocallnfile=false&autoDeserialize=false&allowLocalInfile=false&allowUrlInLocalInfile=false...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
Tunnel命令常见问题
ErrorCode=NoSuchPartition,ErrorMessage=The specified partition does not exist 产生原因 数据要插入的目标分区不存在。解决措施：您可以先通过 show partitions table_name;命令来判断分区是否存在，并通过 alter table table_name add...
创建RDS MySQL数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。操作步骤 购买数据订阅通道，详情请参见 购买...
任务运行失败
MySQL节点报错：暂不支持MySQL节点驱动 问题描述添加MySQL数据源时，选择了非连接串模式创建的数据源，导致运行任务时失败，报错信息为 sql execute failed!暂不支持的jdbc驱动。问题原因出现上述报错通常都是选择了非连接串模式创建的...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
MySQL节点
常见问题：任务执行报错 暂不支持的jdbc驱动 问题描述 添加MySQL数据源时，选择了非连接串模式创建的数据源，导致运行任务时失败，报错信息为 sql execute failed!暂不支持的jdbc驱动。问题原因 出现上述报错通常都是选择了非连接串模式...
采集数据
说明 开发环境的数据源创建完成后，需要勾选 生产，以同样方式创建生产环境的数据源，否则任务生产执行会报错。Endpoint 输入 http://oss-cn-shanghai.aliyuncs.com 。Bucket 输入 new-dataworks-workshop。AccessKey ID&AccessKey Secret ...
采集数据
说明 开发环境的数据源创建完成后，需要勾选 生产，以同样方式创建生产环境的数据源，否则任务生产执行会报错。Endpoint 输入 http://oss-cn-shanghai.aliyuncs.com 。Bucket 输入 new-dataworks-workshop。AccessKey ID&AccessKey Secret ...
常见错误码及排查方法
通过 INSERT INTO SELECT 将源表中的数据写入新建表中，删除报错的表，然后通过 RENAME 将新表更名为报错的表名，重启DTS任务即可。DTS-70004:execute statement failed:/*aaaaaaaaaaMysqlEngine(28)*/update `xxx`.`yyy` set.error detail...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
Tunnel常见错误码
本文为您介绍使用Tunnel过程中的常见错误码，帮助您了解错误码产生原因，并提供解决措施。Tunnel常见错误码如下：报错信息：ErrorCode=NoSuchPartition,ErrorMessage=The specified partition does not exist.报错信息：ErrorCode=...
使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查...因此在目标库有数据的情况下，DTS不支持进行数据迁移，所以DTS数据迁移不会覆盖掉已存在的数据。适用于 数据传输服务 DTS
基本概念
用户可以选择多个Mongos作为请求的入口，防止其中一个挂掉所有的MongoDB请求都无法操作。Shard MongoDB分片集群中的分片。单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
RDS MySQL物理备份文件恢复到自建数据库
解决方法：报错原因可能是命令中文件名或路径错误引起，请确认文件名和路径是否正确。步骤三：恢复数据 重要 恢复数据库前，请先停止自建数据库服务。您可以使用 ps-ef|grep '[m]ysql' 命令查看是否存在 mysql 相关进程，并使用 sudo kill-...
问题汇总
为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据，但是没有生成补数据实例？等待资源 为什么会出现等待资源？为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会空跑 ...
离线同步写入MongoDB数据
且将非_id字段配置为业务主键，任务运行时可能会出现类似以下的报错：After applying the update,the(immutable)field '_id' was found to have been altered to_id:"2"原因是写入数据中，存在_id与 replaceKey不匹配的数据，详情请参 报错...
操作指南
在调试预览界面产生交互行为时，如果命中记录日志的交互连线，则记录这次连线交互的上下游节点关系和交互触发时产生的数据快照。本文介绍DataV服务中数据看板的交互日志和组件日志。前提条件 在蓝图界面内，已添加所需节点、连线和处理方法...
数据源配置常见问题
可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果数据查询时间超过10s，就会报请求超时的错误。解决方法：此限制为DataV后台服务设置，用户无法修改。建议您优化查询SQL语句，或者调整表结构来缩短查询时...
数据源配置常见问题
可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果数据查询时间超过10s，就会报请求超时的错误。解决方法：此限制为DataV后台服务设置，用户无法修改。建议您优化查询SQL语句，或者调整表结构来缩短查询时...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
- 产品推荐
- 这些文档可能帮助您