全增量实时同步至Hologres
步骤六：高级参数配置 数据集成提供数据库最大连接数，并发度等配置的默认值，如果需要对任务做精细化配置，达到自定义同步需求，您可对参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产...
MySQL分库分表同步至Hologres（方案2.0）
步骤六：高级参数配置 数据集成提供数据库最大连接数，并发度等配置的默认值，如果需要对任务做精细化配置，达到自定义同步需求，您可对参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产...
使用ETL分析实时订单
步骤一：配置源库信息 将实时交易数据配置为流表，业务维度数据配置为维表。步骤二：配置表JOIN 将维表和流表数据关联成一张宽表。步骤三：配置表记录过滤 配置过滤条件（单笔金额需超过3000），筛选宽表中的数据。步骤四：配置目标库信息 ...
补数据
为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据，但是没有生成补数据实例？周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以...
新建Doris数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
新建Doris数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建PolarDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建OpenGauss数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建OpenGauss数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建MySQL数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建MySQL数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建GoldenDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建PolarDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建TiDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建TiDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建GBase 8a数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。数据源描述 对GBase 8a数据源的描述。不超过128字符。数据源配置 基于业务数据源是否区分生产数据源...
创建GoldenDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建GBase 8a数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。数据源描述 对GBase 8a数据源的描述。不超过128字符。数据源配置 基于业务数据源是否区分生产数据源...
创建KingbaseES数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。版本 支持选择V8R3和V8R6版本。数据源描述 对KingbaseES数据源的描述。不超过128字符。数据源配置 ...
创建KingbaseES数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。版本 支持选择V8R3和V8R6版本。数据源描述 对KingbaseES数据源的描述。不超过128字符。数据源配置 ...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
离线同步常见问题
脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和目的端数据类型比较，看哪一条或哪一些不合规范。比如：{"byteSize":28,"index":25,"rawData":"ohOM71vdGKqXOqtmtriUs5QqJsf4","type":"STRING"} byteSize：字节...
功能更新动态（2022年之前）
2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）Dataphin支持通用IP地址 为了提升网络连通配置的效率，Dataphin新增在VPC网络环境下各地域通用的IP地址，您可以将通用的IP地址添加至业务数据库的白名单中以实现网络打通。...
依赖关系
当您仅配置 依赖的上游节点 为小时调度任务A，而未配置 依赖的上游节点 为日调度任务B，则可能在上游节点的日调度任务B未执行完成时，下游节点C便开始执行节点任务，导致获取日调度任务的输出表B的数据失败，任务运行报错。因此，该示例中...
数据湖管理FAQ
元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的...
执行补数据并查看补数据实例（旧版）
当 业务日期 晚于当前日期，可选择 立即运行定时时间大于此刻的补数据实例，后续当实际时间大于配置的 业务日期 时，平台会立即运行该补数据实例。例如，当前日期为 2024-03-12，业务日期为 2024-03-17，则等实际日期为 2024-03-18（大于...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
执行补数据并查看补数据实例（新版）
步骤一：新建补数据任务 在补数据页面单击 新建补数据任务，根据业务需求配置补数据任务。配置基础信息。平台自动生成默认格式的补数据名称，您可按需修改。选择要补数据的任务。您可通过 手动选择、按链路、按工作空间、指定任务及所有...
数据开发常见问题
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖场景 什么情况下配置依赖上一周期的依赖项为本节点？为什么运维中心有些依赖线是虚线？下游节点同时依赖多个任务运行时，依赖关系...
数据导入常见问题
报错“failed to send batch或TabletWriter add batch with unknown id”，该如何处理？报错“LOAD-RUN-FAIL;msg:OrcScannerAdapter:init_include_columns.col name=xxx not found”，该如何处理？导入作业长时间没有结束等问题应该如何...
数据源概述
数据源功能概述 配置数据源时，您需要了解如下内容：能力 说明 数据源支持情况与配置 在配置数据集成同步任务前，您需要提前在DataWorks数据源管理页面配置好需要同步的数据源。数据集成目前支持几十种数据源，目前支持的数据源及其配置...
使用DataWorks
背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，在DataWorks界面以可视化方式配置数据来源、去向及字段的映射关系等信息，完成数据导出操作。脚本模式：创建离线同步节点后，将DataWorks可视化界面切换至脚本模式...
创建Lindorm数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Lindorm数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Aliyun HBase数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建MongoDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Redis数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Aliyun HBase数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Tablestore数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Hive数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
- 产品推荐
- 这些文档可能帮助您