可用性
不可配置要求所有数据副本所在节点均读/写成功才成功的策略，例如配置了三副本，一致性配置了ALL，即读或写操作要求三个数据副本所在节点均读或写成功才成功，此情况下，若数据副本所在的任何一个节点故障，则数据库就无法读/写，无高可用...
设置读写属性和读权重
主实例：不可读可写 代理访问策略：可读可写 主实例：可读可写 代理访问策略：可读可写 主实例：可读可写 代理访问策略：可读可写 自定义 大于0 主实例：可读可写 代理访问策略：可读可写 主实例：可读可写 代理访问策略：可读可写 主实例...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
常见问题
问题原因：DataFlow集群目前是通过内置的JindoSDK来支持免密读写OSS，并支持StreamingFileSink等API的，不需要再按照 社区文档 进行额外的配置，否则会由于依赖冲突导致此报错。处理方法：检查您集群内提交作业的机器的$FLINK_HOME/plugins...
依赖关系
调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交节点时提示：输入输出和代码血缘分析不匹配 为什么自动解析的父节点名会报依赖的父节点输出（表）不存在？为什么有些节点的本节点的输出中，下游节点名称、下游...
数据湖管理FAQ
解决方案：您可以修改建仓高级配置，通过 sensitive-columns配置 过滤掉大字段的同步。详情请参见文档 高级选项功能。为什么一键建仓运行了十几个小时然后失败了？这种情况一般有如下两种原因。您的库表中表的数量过多，有几千个表，可能会...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
FE参数配置
本文介绍FE进程的相关配置项。背景信息 FE的配置文件fe.conf通常存放在FE部署路径的 conf/目录下。而在0.14版本中会引入另一个配置文件fe_custom.conf。该配置文件用于记录您在运行时动态配置并持久化的配置项。FE进程启动后，会先读取fe....
MapReduce常见问题
执行MapReduce时，以下两种情况会报此错误：classpath 参数的类名写错，要写上完整的包名。打包JAR的时候出错，注意打包时要把SRC中的源码都选上。执行MaxCompute MapReduce时，报错ODPS-0010000，如何解决？问题现象：执行MaxCompute ...
管理告警规则
配置TPS为写请求（发布配置、修改配置、删除配置等）。以QPS比TPS为19:1的比例，且TPS+QPS的总值大于 实例能力评估 中对应规格的 每秒处理请求数（TPS）进行配置。例如Nacos实例为2c4g*3节点，QPS配置大于1900时告警，TPS大于100时告警。...
Node Labels特性使用
如果因为不了解导致写错端口，或者配置端口为随机的情况下，带端口执行replaceLabelsOnNode不能正确建立节点分区映射。您可以使用命令 yarn node-list-showDetails 查看节点当前分区。Node Labels适用的场景？通常情况下，EMR集群不需要...
Kafka单表实时入湖OSS（HUDI）
单击页面右上角的 高级参数配置，对同步任务运行时的并行度和资源进行配置，您可以根据Kafka Topic数据流量和分区数量确定对应配置项的取值，建议按照如下规则进行配置：读端并发数=Kafka Topic分区数 写端并发数=Kafka Topic分区数 内存=1...
访问ECS实例中运行网站常见状态码的报错分析
403 报错：403报错是一个大类，403的报错基本上是权限问题，出现403报错时您需要检测权限配置问题。以下是关于403报错中具体报错的介绍。403.1错误是由于执行访问被禁止而造成的。若试图从目录中执行CGI、ISAPI或其他可执行程序，但该目录...
配置MaxCompute Studio
说明 如果您保持默认值，请确认本地目录下.odps.studio\job 目录存在且具有写权限，否则后续确认配置时可能会报错。Python path to resolve UDF：Python的本地安装路径。版本更新选项 Automatically checks for new version：控制...
数据开发常见问题
多个节点往同一张表写数据，自动解析报错节点输出名相同且提交报错，可以有相同的输出名称吗？使用自动解析依赖关系时，如何不解析到中间表？如何设置跨业务流程，同地域跨项目依赖？业务流程最上游节点的父节点配置应该如何配置？有A、B、...
Spark作业异常排查及处理
读取Snappy文件时报错OutOfMemoryError 针对Spark作业，您可以在EMR控制台中Spark服务配置页面的 spark-defaults.conf 页签下，新增 spark.hadoop.io.compression.codec.snappy.native=true 配置。其他Spark Driver OOM内存不足场景 您可以...
管理HTTPS监听的SSL证书
除默认证书配置外，其他的配置更改不会被回写至集群内，这意味着在下一次调谐时，这些未回写的配置将存在被集群调谐时的配置所覆盖的风险。因此，请谨慎进行其他操作。下次调谐后，您可以在集群中执行 kubectl describe albconfig[$...
管理HTTPS监听的SSL证书
除默认证书配置外，其他的配置更改不会被回写至集群内，这意味着在下一次调谐时，这些未回写的配置将存在被集群调谐时的配置所覆盖的风险。因此，请谨慎进行其他操作。下次调谐后，您可以在集群中执行 kubectl describe albconfig[$...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
数据开发常见问题
访问OSS或LogService时报错ConnectTimeoutException或ConnectionException 问题分析：OSS Endpoint需要配置为公网地址，但EMR Worker节点并无公网IP，所以无法访问。解决方法：修改OSS Endpoint地址修为内网地址。使用EMR metaservice功能...
Spark常见问题
val spark=SparkSession.builder().appName("SparkPi").config("spark.master","local[4]")/如果是以yarn-cluster方式提交，代码中如果有local[N]的配置，将会报错。getOrCreate()检查主类Scala代码。object SparkPi {/必须是object，如果...
导出全量数据到OSS
写为一个文件 当设置 文本类型 为 text 或 csv 时才能配置该参数。写入数据到OSS时，是否写单个文件。默认写多个文件，当读不到任何数据时，如果配置了文件头，则会输出只包含文件头的空文件，否则只输出空文件。如果需要写入到单个文件，...
常见报错
Elasticsearch写数据时报错：forbids automatic creation of the index 报错原因 阿里云Elasticsearch实例未开启自动创建索引功能。解决方案 在Elasticsearch控制台的集群配置页面，静态开启自动创建索引功能，您也可以通过命令方式开启，...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
任务触发与执行问题
请先确认控制台配置的应用名称和执行器名字是否与客户端代码里写的一致，可以查看 endpoint 配置是否正确。如果客户端已经启动，则检查 logs/scheduler 目录下的 common-default.log 和 common-error.log 错误日志。如果错误日志中都没有报...
CDC问题
报错原因 例如配置 'table-name'='t_process_wi_history_\d{1,2}'，报错如下。报错原因 Debezium使用逗号作为分隔符，不支持带逗号的正则表达式，所以解析会报错。解决方案 建议您使用 'table-name'='(t_process_wi_history_\d{1}|t_...
Spark常见报错
报错原因：广播表的大小超过了配置的限制，导致广播失败。广播表的详情，请参见 Broadcast。解决方法：Spark作业中广播表的最大内存为8 GB，您可以在提交Spark作业时使用 spark.sql.autoBroadcastJoinThreshold 参数配置广播表的内存。单位...
Db2 for LUW迁移至RDS MySQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，数据日志：需开启，否则预检查阶段提示报错，且无法成功启动数据迁移任务。如为增量迁移任务，DTS...
RDS MariaDB迁移至RDS MySQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，Binlog日志：需开启，并且binlog_format为row、binlog_row_image为full。否则预检查阶段提示报错，且...
PolarDB-X 1.0迁移至RDS MySQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，Binlog日志：需开启，并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据迁移...
常见报错
报错概览 数据传输服务DTS（Data Transmission Service）常见报错的类型有如下 四 种：配置任务时常见的报错 任务运行中常见的报错 其他常见的报错 关于表结构的报错 配置任务时常见的报错 DTS.Msg.LXCreateOrderError 报错场景：购买DTS...
Db2 for LUW同步至RDS MySQL
如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。需开启数据日志，否则预检查阶段提示报错，且...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
OceanBase（MySQL模式）迁移至RDS MySQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。源库的操作限制：在库表结构迁移和全量迁移阶段，请勿执行库或表结构变更的DDL操作，否则数据迁移任务会失败。如仅执行...
RDS PostgreSQL迁移至RDS MySQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，WAL日志：需开启，即设置 wal_level 参数的值为 logical。如为增量迁移任务，DTS要求源数据库的WAL...
PolarDB MySQL版迁移至RDS MySQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，需开启Binlog日志，并且需要将loose_polar_log_bin参数设置为on。否则预检查阶段提示报错，且无法...
PolarDB MySQL版迁移至RDS MySQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，需开启Binlog日志，并且需要将loose_polar_log_bin参数设置为on。否则预检查阶段提示报错，且无法...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
- 产品推荐
- 这些文档可能帮助您