MaxCompute数据源
数据同步任务开发：MaxCompute同步流程引导 MaxCompute数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建MaxCompute数据源 进行数据同步任务开发前，您需要在...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
常见问题
报错提示Maximum system application limit reached,cannot accept submission of application 可能原因：集群内运行中的总应用数超过上限（配置项：yarn.scheduler.capacity.maximum-applications，默认值：10000）。处理方法：检查JMX ...
出错提示“failed to leapp preupgrade”
vsftpd_config_read阶段报错退出，检查/etc/vsftpd/vsftpd.conf FTP配置文件内容如下：/etc/vsftpd/vsftpd.conf FTP配置文件中不要出现中文，删除中文。问题排查解决后，运行SMC客户端再试。具体操作，请参见 运行SMC客户端。根目录检查...
SQL常见问题
开发报错 报错：undefined 报错：Object '*' not found 报错：Only a single 'INSERT INTO' is supported 报错：The primary key is necessary when enable 'Key:'scan.incremental.snapshot.enabled',default:true(fallback keys:[])' to ...
其他常见问题
请先确认控制台配置的应用名称和执行器名字是否与客户端代码里写的一致，可以查看 endpoint 配置是否正确。如果客户端已经启动，则检查 logs/scheduler 目录下的 common-default.log 和 common-error.log 错误日志。如果错误日志中都没有报...
负载均衡
测试数据 以下展示了配置节点权重后的实际测试数据。测试使用的三个节点的权重配置比例为1:2:3（RW节点为1），可以看到压测结果符合预期（使用Sysbench oltp_read_only测试集）。说明 pi-bp1d1mtcobuzv*和 pcbp14vvpolardbma23957*两个节点...
常见问题
您可以通过以下两种方法创建ClickHouse用户：通过在EMR控制台新增配置项创建ClickHouse用户 在EMR控制台ClickHouse服务的 配置 页面，单击 server-users 页签，新增配置项，参数为 users.<YourUserName>.password 或 users.<YourUserName>....
MySQL整库离线同步到OSS
高级参数配置 您可以通过以下两种方式定义高级参数：单击页面右上角的 高级参数配置，对同步任务读端与写端进行精细化配置，例如最大连接数、离线任务限流相关参数。配置高级参数可以控制任务的行为。高级参数功能是整个任务全局的高级参数...
降低实例配置
重启风险：降低实例配置会引发集群逐台重启，可能会出现如下风险：客户端会短暂断开连接并重连，可能会造成少量报错。已经发送成功的消息，降低配置之后不会丢失。降配期间发送失败的消息，建议重试发送，可在客户端配置重试机制。降配预计...
配置数据库代理
全局一致性读超时策略 在只读节点等待超时后 PolarDB 的默认策略，取值范围如下：0，发送该请求到主节点（默认值）1，SQL报错（wait replication complete timeout,please retry）说明 仅当 一致性级别 为 全局一致性（强）时支持该配置。...
Spark FAQ
文件与文件之间没有用逗号隔开或者写成JSON的List。如何处理Spark SQL读JSON外表（包含日志投递自建）时的报错ClassNotFoundException:org.apache.hadoop.hive.serde2.JsonSerDe？解决方案具体步骤如下。下载 ...
Spark
原因4：文件与文件之间没有用英文逗号（,）隔开或写成JSON的格式。解决方法：您需确保Spark应用代码为正确的JSON格式，且多个文件之间用英文逗号（,）分隔。如何定位Spark应用运行速度变慢的原因？说明 进入Spark UI的具体方法，请参见 ...
MSHA应用双活架构接入Helloworld
在 数据层配置 页面单击 创建数据保护规则，配置数据保护禁写、读写分离规则。然后分别进行灰度推送、全量推送，相应保护规则才会通过管控命令通道，推送到应用节点MSHA SDK/Agent上。Redis/MySQL主备切换。在 数据层配置 页面，查看当前...
整库离线同步至OSS
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，数据日志：需开启，否则预检查阶段提示报错，且无法成功启动数据迁移任务。如为增量迁移任务，DTS...
FTP数据源
否 TEXT header header:txt文本（包括csv、text等）写出时的表头，脚本模式支持配置表头信息，例如"header":["id","name","age"]，表示将id、name、age作为表头写入ftp文件的第一行。否 无 markDoneFileName 标档文件名，同步任务结束后...
Hive作业异常排查及处理
SortBuffer配置太大导致OOM 报错日志：Error running child:java.lang.OutOfMemoryError:Java heap space at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:986)原因分析：Sort Buffer Size超过了Hive Task ...
配置迁移任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据迁移功能简单易用，您只需在新版控制台上进行简单操作，即可完成整个迁移任务的配置。注意事项 本文仅简单介绍数据迁移任务的通用配置流程，不同迁移链路在配置迁移任务时略有不同...
升级步骤
若您选择 带地址切换（应用程序不用改连接配置），操作步骤如下：选中 带地址切换（应用程序不用改连接配置），系统会自动交换RDS和 PolarDB 上的连接地址，您无需在应用程序端修改任何配置即可自动连接到 PolarDB。重要 使用 带地址切换...
MySQL数据源
数据同步任务开发：MySQL同步流程引导 MySQL数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个...
OSS数据源
类型分类 数据集成column配置类型 整数类 LONG 字符串类 STRING 浮点类 DOUBLE 布尔类 BOOLEAN 日期时间类 DATE 数据同步任务开发 OSS数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看...
我是数采实施商
1）0x01（读线圈寄存器）2）0x02（读离散输入寄存器）3）0x03（读保持寄存器）4）0x04（读输入寄存器）写功能码 1）0x05（写单个线圈寄存器）2）0x06（写单个保持寄存器）3）0x0F（写多个线圈寄存器）4）0x10（写多个保持寄存器）批量操作 ...
PolarDB MySQL版迁移至自建Oracle
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，需开启Binlog日志，并且需要将loose_polar_log_bin参数设置为on。否则预检查阶段提示报错，且无法...
PolarDB-X 2.0间的迁移
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，Binlog日志：需开启，并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据迁移...
RDS MySQL迁移至RDS PostgreSQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。Binlog日志：RDS MySQL 默认已开启Binlog，请参考 查看实例参数，确认binlog_format为row且binlog_row_image为full。...
RDS MariaDB迁移至RDS PostgreSQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。在库表结构迁移和全量迁移阶段，请勿执行库或表结构变更的DDL操作，否则数据迁移任务会失败。如未选择增量数据迁移，...
PolarDB MySQL版间迁移
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，需开启Binlog日志，并且需要将loose_polar_log_bin参数设置为on。否则预检查阶段提示报错，且无法...
HDFS数据源
类型分类 数据库数据类型 整数类 TINYINT、SMALLINT、INT和BIGINT 浮点类 FLOAT和DOUBLE 字符串类 CHAR、VARCHAR和STRING 布尔类 BOOLEAN 日期时间类 DATE和TIMESTAMP 数据同步任务开发 HDFS数据同步任务的配置入口和通用配置流程指导可...
Elasticsearch数据源
设置的过大时，如果同一时刻发起的查询过多，超出服务端 max_open_scroll_context 配置时，会导致数据查询报错。是 无 strictMode 以严格模式读取Elasticsearch中的数据，当出现Elasticsearch的 shard.failed 时会停止读取，避免读取少数据...
全增量同步任务常见问题
如果Hologres目标表不存在，请在配置数据同步任务时使用 自动建表，创建可用的Hologres目标表，详情请参见 配置Hologres目标表。源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？创建目标表时候，DataWorks只会保留...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
采集部署
表示启动成功，如报错根据错误原因进行修改，如未显示任何agent信息表示配置路径不对导致未加载。优缺点 启动方式 优点 缺点 适用场景 启动方式一 对全新应用无须重启即可设置agent监控。每次应用重启agent需手动启动；启动agent的账号必须...
PolarDB-X 2.0迁移至DataHub
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，Binlog日志：需开启，并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据迁移...
AnalyticDB for MySQL 2.0数据源
options.ignoreEmptySource":true/忽略源头数据空文件报错信息，任务不报错，默认true,不配置默认是true，设置为false读不到源头数据任务会报错 },"name":"Writer","category":"writer"}],"setting":{"errorLimit":{"record":"0"/错误记录...
配置Greenplum输出组件
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
配置Greenplum输出组件
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
实时计算任务提交说明
说明 代码中的语法错误，Dataphin系统无法进行定位时，将直接提示报错信息。对象检查 Flink_SQL任务将进行对象检查，检查所有对象是否已提交且发布到生产环境。系统将解析代码中所有引用的对象，并以列表形式展示。包括对象名称、对象类型...
实时计算任务提交说明
说明 代码中的语法错误，Dataphin系统无法进行定位时，将直接提示报错信息。对象检查 Flink_SQL任务将进行对象检查，检查所有对象是否已提交且发布到生产环境。系统将解析代码中所有引用的对象，并以列表形式展示。包括对象名称、对象类型...
- 产品推荐
- 这些文档可能帮助您