常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
运行失败
在seek阶段M-R1-R2的R1到R2的过程，会将这些数据交给同样的Reducer去执行，导致数据倾斜，造成某个Reduce Job挂掉。小类目检索准备阶段GetSmallCategoryDocNum为空 报错信息 解决方法 该问题的主要原因是表当中某些字段的值为空，比如 ...
SQL结果集导出
该实例下的数据库包含您待导出的数据。录入实例的具体操作，请参见 云数据库录入、他云/自建数据库录入。注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。...
SmartData常见问题
JindoFS缓存模式和Block模式可以利用集群本地磁盘或内存来缓存数据，对于新写入的数据和重复读取的数据具有显著加速效果。在同样集群条件下，对于Spark或Hive分析计算，跟HDFS相比集群吞吐是相当的，甚至优于HDFS。JindoFS写性能如何？因为...
数据变更
调整规则的入口路径：安全与规范->安全规则->编辑->SQL变更->SQL执行规则，未匹配到该命令类型的任何规则，默认禁止执行 报错原因：安全协同模式的数据库绑定的安全规则不允许执行或提交该SQL命令，因此该命令会被拦截。解决方案：禁止执行...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
数据倾斜诊断
消除数据倾斜 导致数据倾斜的原因一般都是分布键选择不正确。例如，一张表的某个字段的相同值特别多时，如果选择了该字段作为分布键进行HASH分布，就会导致该字段的这些相同值所在的计算节点上的数据比其他计算节点上的数据多。为了避免...
MySQL实例间的双向同步
此类情况须要将目标实例中的对应触发器删除掉，表B的数据由源实例同步过去，详情请参见 源库存在触发器时如何配置同步作业。RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对...
数据湖管理FAQ
原因：“手动执行”在手动触发执行完一次时，只能发现执行当时已存在的数据，不会发现手动执行后又新增的数据。解决方案：您需要修改成“定时执行”模式，新增的数据才能被感知增加进来。OSS数据源配置数仓模式和自由模式的差异以及适用...
如何解决关于表结构的报错？
报错：Access denied for user 'XXXX'@'%' to database 'XXXX' 可能原因：DTS任务使用的数据库账号，没有访问报错信息中的数据库的权限。解决方法：方法一：使用权限足够的数据库账号，创建DTS任务。方法二：给报错信息中的账号，授予足够...
离线同步常见问题
脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和目的端数据类型比较，看哪一条或哪一些不合规范。比如：{"byteSize":28,"index":25,"rawData":"ohOM71vdGKqXOqtmtriUs5QqJsf4","type":"STRING"} byteSize：字节...
常见问题
非插件报错原因及解决方案 如何处理编码格式设置/乱码问题导致的脏数据报错？任务存在SSRF攻击Task have SSRF attacks如何处理？离线同步任务执行偶尔成功偶尔失败。离线同步源表有加列（修改）如何处理？如何处理表列名有关键字导致同步...
常见报错
报错信息类似于以下形式：can not getTableTopology(drds*,ib_ibos*)Could not connect to address=(host=100.100.XX.XX)(port=*)(type=master):(conn=*)[10.0.1.1:3306]Access denied for user 'ib_ibos*'@'100.104.XX.XX' to database '...
实时同步常见问题
parse.exception.PositionNotFoundException:can't find start position forxxx 实时同步Hologres数据报错：permission denied for database xxx 实时同步至MaxCompute数据报错：ODPS-0410051:invalid credentials-accessKeyid not found ...
时序异常检测
原理简单，便于分析异常的原因，可解释性较强。说明 不建议在数据点中有少量显著离群点的场景中使用，因为这种情况下计算的检测值不准确可能导致检测结果误报。ttest 检测对象为一段时间窗口内的时序数据。用于识别待检测时间窗口内时序...
Spark常见报错
报错原因：Spark作业中配置的弹性网卡无法访问指定的数据源。常见于访问RDS MySQL数据源和HDFS数据源的场景。解决方法：检查当前Spark作业中指定交换机的IP地址段是否在数据源的白名单配置中。若不在，则需配置数据源的白名单。例如：访问...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
Presto FAQ
原因：太多的数据展示导致页面崩溃，为了保障控制台页面的稳定性，设置了行数500的限制。解决方案：您可以通过MySQL客户端连接DLA来突破这个限制。RAM用户可以在哪里执行SQL？当前DLA控制台都是使用主账号执行SQL的。RAM用户只能通过在DLA...
数据订阅启动SDK报如下的错误“keep alive error”
问题原因 SDK运行的服务器没有公网IP，不能连接数据传输服务的服务器，或者因为订阅通道的消费时间点不在订阅通道的数据范围之内。解决方案 创建公网IP，建立SDK的公网连接，或者重新修改消费位点，具体的修改方法详见 修改订阅通道消费...
授权和回收数据板块权限
授权原因 填写授予数据板块权限的原因。单击 确定，完成数据板块权限的授权。回收数据板块权限 按照下图操作指引，进入 数据板块回收 对话框。在 数据板块回收 对话框，配置参数。参数 描述 回收用户 选择需要回收数据板块权限的用户。逻辑...
授权和回收数据板块权限
授权原因 填写授予数据板块权限的原因。单击 确定，完成数据板块权限的授权。回收数据板块权限 按照下图操作指引，进入 数据板块回收 对话框。在 数据板块回收 对话框，配置参数。参数 描述 回收用户 选择需要回收数据板块权限的用户。逻辑...
导入与导出
若源库中存在 AnalyticDB MySQL 不支持的数据类型（例如地理位置数据等类型），AnalyticDB MySQL 在进行结构初始化时会丢弃掉不支持数据类型的列。支持的数据类型，请参见 基础数据类型 和 复杂数据类型 DTS同步数据至AnalyticDB MySQL集群...
一键实时同步至MaxCompute
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
一键实时同步至MaxCompute
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
Logview诊断实践
比如：某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误。内存不足引起gc频率过高。这时可以尝试调整内存参数，不过此方法只能暂时缓解，具体的优化还是需要从业务上去处理。示例如下：set odps.sql.udf.jvm.memory=-设定UDF ...
离线同步数据质量排查
以MaxCompute、Hologres为例，2个任务写同一个分区数据（同步前清理分区数据 truncate），第一个任务写出的数据可能会被第2个同步任务清理掉。关系数据库配置了前置处理preSql、后置处理postSql等，第一个任务写出的数据可能会被第2个同步...
一键MaxCompute任务出错恢复
恢复部分表的数据 进入 数据集成>同步任务 找到目标任务，单击 更多>修改配置 编辑全增量同步任务，通过加表的方式恢复相关表的数据同步。恢复历史数据。对于一键整库实时同步至MaxCompute任务，可以参看上文，执行 全量补数据将当前全量...
依赖关系
可能出现的原因及解决方案，详情请参见 提交节点报错：当前节点依赖的父节点输出名不存在。提交节点时提示：输入输出和代码血缘分析不匹配 提交节点时，系统出现提示，输入输出和代码血缘分析不匹配。可能出现的原因及解决方案，详情请参见...
数据导入常见问题
but got 1.Row:2023-01-01T18:29:20Z,cpu2,59.44 报错原因 发生该错误的原因是导入命令或导入语句中指定的列分隔符与源数据中的列分隔符不一致。例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入...
基于OSS外表的单表多文件查询
报错信息 报错原因 解决方案 OSS error:No corresponding data file on the OSS engine.OSS上没有找到对应的数据文件。您需要根据上述规则检查OSS上对应的路径下是否存在数据文件。若存在，确认数据文件格式是否符合命名规则。即符合 外表...
常见问题
DTS会在预检查阶段对目标端进行检查，如果目标端的数据不为空会报错。同步任务是否支持过滤部分字段或数据？支持。通过指定SQL Where条件可以过滤待同步数据。过滤字段或数据的方法，请参见 通过SQL条件过滤任务数据。同步任务是否可以转为...
查询报错问题
查询报错 QUERY_EXCEED_LIMIT ErrMsg:groups 100000001 exceed limit=>10000000 用户在执行SQL查询用limit处理分页时，如果start值限制10000无法获取10000以后的数据，如：LIMIT 1000000,20。分析型数据库MySQL版对分页数量有限制，即查询...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
PyODPS常见问题
产生此问题的原因为组件缺失，请根据报错信息中提示的XXX信息，明确缺失的组件名称，使用 pip 命令安装此组件。安装PyODPS时，提示Project Not Found，如何解决？产生此问题的原因为：Endpoint配置错误，需要修改为目标Project的Endpoint。...
Python SDK常见问题
产生此问题的原因为组件缺失，请根据报错信息中提示的XXX信息，明确缺失的组件名称，使用 pip 命令安装此组件。安装PyODPS时，提示Project Not Found，如何解决？产生此问题的原因为：Endpoint配置错误，需要修改为目标Project的Endpoint。...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
- 产品推荐
- 这些文档可能帮助您