实时模式配置概述
配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
实时模式配置概述
配置项 描述 资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的流批一体任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task ...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
实时模式State配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
实时模式State配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
实时模式Checkpoint配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行...
实时模式Checkpoint配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行...
实时模式依赖文件配置
若您的实时任务运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。本文将为您介绍如何配置任务实时模式的依赖文件。...
实时模式依赖文件配置
若您的实时任务运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。本文将为您介绍如何配置任务实时模式的依赖文件。...
图形
} 设置 嵌入式图形宽度 设置单个嵌入式图形对象的宽度。语法 表达式.ActiveDocument.InlineShapes.Item(Index).Width 表达式：文档类型应用对象 示例 async function example(){ await instance.ready();const app=instance.Application;...
上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 ...
上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，...
审计日志
BulkApplyPropertiesForStreamJob 批量修改实时任务配置。数据操作-任务执行 CreateTable 通过SQL创建数据表。AlterTable 通过SQL修改表。SelectTable 通过SQL查询表。DropTable 通过SQL删除表。AdhocDownload 导出查询的结果。INSERT_INTO...
离线任务监控概述
在离线任务触发所配置的监控规则时，系统将根据所配置的接收人发送报警，以协助您 保障 任务的正常运行和数据的产出。功能介绍 离线任务中支持对Basic项目或者Dev/Prod项目中的Prod环境中的周期任务、手动任务、逻辑表任务（明细表与汇总表...
离线任务监控概述
在离线任务触发所配置的监控规则时，系统将根据所配置的接收人发送报警，以协助您 保障 任务的正常运行和数据的产出。功能介绍 离线任务中支持对Basic项目或者Dev/Prod项目中的Prod环境中的周期任务、手动任务、逻辑表任务（明细表与汇总表...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
配置Fusioninsight Flink实时模式资源
Fusioninsight Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式...
新建FLINK_DATASTREAM任务
本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发...
新建FLINK_DATASTREAM任务
本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发...
新建FLINK_SQL任务
前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一：新建 FLINK_SQL 任务 在...
新建FLINK_SQL任务
前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一：新建 FLINK_SQL 任务 在...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
新建BLINK_SQL任务
本文为您介绍如何基于Alibaba Blink实时引擎创建BLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Alibaba Blink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者...
新建BLINK_SQL任务
本文为您介绍如何基于Alibaba Blink实时引擎创建BLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Alibaba Blink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。操作步骤 请参见 离...
UDF（嵌入式）
本文为您介绍如何通过代码嵌入式UDF（Embedded UDF）将Java或Python代码嵌入SQL脚本。背景信息 您可以通过MaxCompute的代码嵌入式UDF解决以下代码实现过程繁琐，且不方便阅读和维护的问题：创建UDF并完成代码开发后，您还需要完成代码编译...
常见问题
以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
配置开源Flink实时模式资源
开源Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行读度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
常见问题
以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
- 产品推荐
- 这些文档可能帮助您