实时消费Kafka数据
向导模式 配置项 描述 基本信息 任务名称 定义任务的名称，任务名称不可以重复，必填。任务描述 描述任务内容，选填。配置模式 向导模式。源端配置 数据源 选择在新增实时数据源中配置的数据源，目前仅支持Kafka为源的数据源。group_name ...
实时模式State配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
实时模式State配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
分支模式选型及落地指南
分支模式是我们在进行代码变更时的一种约定，它在版本管理工具（如Git）之上，约定我们在不同分支上的行为，达到提升开发协作效率的目的。背景 让我们回到软件开发的早期，那时有很多独行的勇士，他们一个人写一个操作系统、一个周末搞一个...
配置Alibaba Blink离线模式资源
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。参数 描述 资源队列 默认为创建任务时所选择的资源队列。您可在此处进行资源队列切换。重要 ...
配置Alibaba Blink离线模式资源
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。参数 描述 资源队列 默认为创建任务时所选择的资源队列。您可在此处进行资源队列切换。重要 ...
配置Fusioninsight Flink实时模式资源
操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式配置面板中 资源配置 区域，配置实时模式的 资源配置 信息。参数 描述 生产环境资源队列 默认为创建Flink SQL任务时所选择的资源队列。您可在此处进行引擎切换。重要 ...
配置Fusioninsight Flink离线模式资源
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。参数 描述 生产环境资源队列 默认为创建Flink_SQL任务时所选择的集群。您可在此处进行引擎切换...
实时模式Checkpoint配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行...
实时模式Checkpoint配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行...
配置开源Flink实时模式资源
操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式配置面板中 资源配置 区域，配置实时模式的 资源配置 信息。参数 描述 生产环境资源队列 默认为创建Flink SQL任务时所选择的资源队列。您可以在此处进行引擎切换。重要...
配置Alibaba Blink实时模式资源
操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式配置面板中 资源配置 区域，配置实时模式的 资源配置 信息。参数 描述 资源队列 默认为创建Blink_SQL任务时所选择的资源队列。您可在此处进行资源队列切换。重要 切换...
配置Alibaba Blink实时模式资源
操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式配置面板中 资源配置 区域，配置实时模式的 资源配置 信息。参数 描述 资源队列 默认为创建Blink_SQL任务时所选择的资源队列。您可在此处进行资源队列切换。重要 切换...
配置Ververica Flink离线模式资源
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。参数 描述 生产环境集群 默认为创建Flink SQL任务时选择的生产环境集群。您可在此处切换集群。...
配置Ververica Flink离线模式资源
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。参数 描述 生产环境集群 默认为创建Flink SQL任务时选择的生产环境集群。您可在此处切换集群。...
配置降级规则
选择防护场景：配置限流行为：选 择接口类型 后，单击 新增行为 配置Web行为或RPC行为。Web行为，请参见 配置Web行为。RPC行为，请参见 配置RPC行为。配置成功后，新的降级规则将出现在规则列表中。管理规则 在规则列表中，您可以编辑、...
配置开源Flink离线模式资源
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。参数 描述 生产环境资源队列 默认为创建Flink_SQL任务时所选择的集群。您可在此处进行引擎切换...
Hive数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步配置指导 操作流程请参见 数据集成侧...
配置Ververica Flink实时模式资源
操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式配置面板中 资源配置 区域，配置实时模式的 资源配置 信息。参数 描述 生产环境集群 默认为创建任务时选择的生产环境集群。您可在此处切换集群。重要 集群切换后提交...
配置Ververica Flink实时模式资源
操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式配置面板中 资源配置 区域，配置实时模式的 资源配置 信息。参数 描述 生产环境集群 默认为创建任务时选择的生产环境集群。您可在此处切换集群。重要 集群切换后提交...
实时模式时间参数配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 时间参数 区域，配置任务实时模式的时间参数信息。实时任务的时间参数为 stat_date，可用于实时计算任务的运行时间偏移。例如：您需要计算当天某个指标...
实时模式时间参数配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 时间参数 区域，配置任务实时模式的时间参数信息。实时任务的时间参数为 stat_date，可用于实时计算任务的运行时间偏移。例如：您需要计算当天某个指标...
实时模式依赖文件配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖文件 区域，配置任务实时模式的 依赖文件 信息。在添加依赖文件下拉选项中选择该任务依赖的资源文件。若选项中无所需的资源文件时，您可前往 资源 ...
实时模式依赖文件配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖文件 区域，配置任务实时模式的 依赖文件 信息。在添加依赖文件下拉选项中选择该任务依赖的资源文件。若选项中无所需的资源文件时，您可前往 资源 ...
配置过滤转换组件
本文为您介绍如何配置过滤转换组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图操作指引，进入 转换-过滤 配置对话框。在 转换-过滤配置 对话框，配置参数。参数 描述 步骤名称 过滤转换组件的名称。...
配置过滤转换组件
本文为您介绍如何配置过滤转换组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图操作指引，进入 转换-过滤 配置对话框。在 转换-过滤配置 对话框，配置参数。参数 描述 步骤名称 过滤转换组件的名称。...
场景：配置分库分表离线同步任务
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 分库分表...
配置流控规则
配置限流行为：选 择接口类型 后，单击 新增行为 配置Web行为或RPC行为。Web行为，请参见 配置Web行为。RPC行为，请参见 配置RPC行为。配置成功后，新的隔离规则将出现在流控规则列表中。管理规则 在规则列表中，您可以编辑、删除、启用、...
模式
配置 模式名称，单击 确认，其中 实例名 和 数据库名称 默认填充当前模式所在的实例和数据库名称，无需修改配置。新建成功的模式会展示在已登录数据库的列表中。管理模式 您可以对模式进行刷新、编辑、新建内部表、新建外部表、批量创建...
安全设置
在 添加安全模式配置 对话框，选择需开启严格权限模式的项目。参数 描述 项目 选择需配置安全模式的项目，支持多选。跨项目安全模式 开启：禁止从任意项目到当前项目DDL（create、drop、alter）。关闭：允许有权限的账号跨项目执行DDL操作...
安全设置
在 添加安全模式配置 对话框，选择需开启严格权限模式的项目。参数 描述 项目 选择需配置安全模式的项目，支持多选。跨项目安全模式 开启：禁止从任意项目到当前项目DDL（create、drop、alter）。关闭：允许有权限的账号跨项目执行DDL操作...
流式ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程通过DAG模式配置ETL任务 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中...
集成组件库开发说明
IBM DB2 配置IBM DB2输入组件 OceanBase 配置OceanBase输入组件 Teradata 配置Teradata输入组件 脚本模式 配置本地文件输入组件 Hologres 配置Hologres输入组件 ClickHouse 配置ClickHouse输入组件 Kafka 配置Kafka输入组件 DataHub 配置...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
DataWorks数据集成
说明 具体操作步骤请参考DataWorks 通过脚本模式配置离线同步任务 数据导出 数据导出的步骤和数据导入的步骤一样，区别是在数据导出中，数据源配置需要配置为 AnalyticDB PostgreSQL版（参见 配置AnalyticDB for PostgreSQL数据源），而...
同步数据到时序表
value.converter=org.apache.kafka.connect.json.JsonConverter value.converter.schemas.enable=false 此处以配置standalone模式为例介绍，distributed模式的配置步骤与同步数据到数据表时的distributed模式配置步骤类似，只需按照上述...
配置主动降级规则
AHAS主动降级规则可以指定对某些接口进行降级，被降级的接口会触发自定义的降级行为（如返回指定内容）而不会执行原有的逻辑。本文介绍如何新增主动降级规则。前提条件 将应用接入AHAS应用防护，具体操作，请参见 接入应用方式。注意事项 ...
离线模式依赖关系配置
操作步骤 请参见 离线模式配置入口，进入 离线模式 配置面板。在离线模式配置面板 依赖关系 区域，配置 依赖关系 设置。参数 描述 开始解析 当节点的任务类型为SQL时，您可以单击 开始解析，系统会解析代码中的表，并查找到与该表名相同的...
离线模式依赖关系配置
操作步骤 请参见 离线模式配置入口，进入 离线模式 配置面板。在离线模式配置面板 依赖关系 区域，配置 依赖关系 设置。参数 描述 开始解析 当节点的任务类型为SQL时，您可以单击 开始解析，系统会解析代码中的表，并查找到与该表名相同的...
什么是ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS 迁移或 同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中配置ETL典型应用
- 产品推荐
- 这些文档可能帮助您