配置Alibaba Blink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
配置Alibaba Blink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
实时模式依赖文件配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖文件 区域，配置任务实时模式的 依赖文件 信息。在添加依赖文件下拉选项中选择该任务依赖的资源文件。若选项中无所需的资源文件时，您可前往 资源 ...
实时模式依赖文件配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖文件 区域，配置任务实时模式的 依赖文件 信息。在添加依赖文件下拉选项中选择该任务依赖的资源文件。若选项中无所需的资源文件时，您可前往 资源 ...
配置Ververica Flink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
配置Ververica Flink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
实时模式State配置
在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认使用作业引擎版本的默认值为State数据过期时间。单击 确定，完成实时模式...
实时模式State配置
在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认使用作业引擎版本的默认值为State数据过期时间。单击 确定，完成实时模式...
搭建FTP站点（Alibaba Cloud Linux 3）
本文主要介绍被动模式下，使用本地用户访问FTP服务器的配置方法。关于匿名模式的配置方式、第三方FTP客户端工具使用方式等介绍，请参见 常见问题。本教程示例步骤使用以下资源版本：实例规格：ecs.g6.large 操作系统：Alibaba Cloud Linux ...
工作原理
伸缩模式 配置方式 说明 固定数量模式 伸缩组+实例配置来源 ① 该模式的伸缩效果由伸缩组以下配置项决定：最小实例数 最大实例数（可选）期望实例数 健康模式 伸缩组+实例配置来源 ① 该模式需要开启伸缩组中 实例的健康检查 配置项。...
手动搭建FTP站点（CentOS 8）
本文主要介绍被动模式下，使用本地用户访问FTP服务器的配置方法。关于匿名模式的配置方式、第三方FTP客户端工具使用方式等介绍，请参见 常见问题。本教程示例步骤使用以下资源版本：实例规格：ecs.g6.large 操作系统：CentOS 8.2 64位 ...
流式ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程通过DAG模式配置ETL任务 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中...
搭建FTP站点（CentOS 7）
本文主要介绍被动模式下，使用本地用户访问FTP服务器的配置方法。关于匿名模式的配置方式、第三方FTP客户端工具使用方式等介绍，请参见 常见问题。准备工作 快速部署时选择已有实例或手动部署FTP站点时，已有ECS实例必须满足以下条件：实例...
实时模式Checkpoint配置
在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行生效：若该处Checkpoint未配置，以运行参数中配置进行生效。若该处...
实时模式时间参数配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 时间参数 区域，配置任务实时模式的时间参数信息。实时任务的时间参数为 stat_date，可用于实时计算任务的运行时间偏移。例如：您需要计算当天某个指标...
实时模式时间参数配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 时间参数 区域，配置任务实时模式的时间参数信息。实时任务的时间参数为 stat_date，可用于实时计算任务的运行时间偏移。例如：您需要计算当天某个指标...
实时模式Checkpoint配置
在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行生效：若该处Checkpoint未配置，以运行参数中配置进行生效。若该处...
安全设置
操作 默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式（开启）当前项目Dev环境的所有表操作 支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全...
安全设置
操作 默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式（开启）当前项目Dev环境的所有表操作 支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全...
实时模式依赖关系配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖关系 区域，配置任务实时模式的依赖关系信息。重要 实时模式下，依赖关系 不实际产生调度依赖。离线模式下，则须配置调度依赖。参数 描述 开始解析...
实时模式依赖关系配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖关系 区域，配置任务实时模式的依赖关系信息。重要 实时模式下，依赖关系 不实际产生调度依赖。离线模式下，则须配置调度依赖。参数 描述 开始解析...
场景：配置分库分表离线同步任务
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 分库分表...
什么是ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中配置ETL典型应用
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
配置SQLServer数据源
SQLServer数据源为您提供读取和写入SQLServer双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。前提条件 在配置SQLServer数据源之前，您需要在RDS for SQLServer端做好以下准备工作。创建RDS for SQLServer实例，请参见 快速...
DataWorks数据集成
说明 具体操作步骤请参考DataWorks 通过脚本模式配置离线同步任务 数据导出 数据导出的步骤和数据导入的步骤一样，区别是在数据导出中，数据源配置需要配置为 AnalyticDB PostgreSQL版（参见 配置AnalyticDB for PostgreSQL数据源），而...
集成组件库开发说明
组件配置说明 Dataphin支持的组件及配置说明请参见下表：输入组件 组件名称 组件配置 MYSQL 配置MySQL输入组件 脚本模式输入 配置脚本模式输入组件 Elasticsearch 配置Elasticsearch输入组件 MaxCompute 配置MaxCompute输入组件 Vertica ...
配置标签
选择模式 配置为 自定义配置，在 应用亲和性 页签添加规则，参数配置如下：拓扑域 选择 kubernetes.io/hostname。应用标签名 配置为 demo-app-name。操作符号 选择 In。应用标签值 配置为 sc-server-demo。展开标签（Label）配置，配置...
Memcache（OCS）数据源
Memcache（原名OCS）数据源为您提供其它数据源向Memcache写入数据的功能，目前仅支持脚本模式配置同步任务，本文为您介绍DataWorks的Memcache（OCS）数据同步的能力支持情况。使用限制 当前仅支持使用脚本模式将数据写入Memcache（OCS）。...
StarRocks数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
通过PrestoDB使用Tablestore
步骤三：创建Schema和映射表 使用Meta表动态配置的Schema配置模式时，您需要手动创建并使用Schema用于配置对接的Tablestore实例和进行用户鉴权，然后再创建Tablestore表的映射表用于数据查询和分析。说明 如果使用的是本地静态文件配置的...
Salesforce数据源
附录：Salesforce脚本Demo与参数说明 离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务...
HttpFile数据源
附录：HttpFile脚本Demo与参数说明 离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
调速
说明 在创建PTS场景压测时，如果您将 压力模式配置 区域下的 压力模式 配置为 RPS模式，那么在调速时，您可以针对每个API单独调速。若通过 全局批量调速 切换到手动调速，则全场景（所有业务会话的全部API）都切换到手动调速。若通过 业务...
通过DataWorks导入数据
配置 单表离线同步任务 您可以选择向导模式或者脚本模式配置离线同步任务，操作流程请参见：通过向导模式配置离线同步任务。通过脚本模式配置离线同步任务。通过脚本模式配置离线任务时，全量参数和脚本示例请参见 脚本模式示例与参数说明...
邮件渠道
选择 配置模式。支持 系统默认配置 或 自定义。系统默认配置 Quick BI提供的阿里云邮箱服务，您可以单击 连通性测试，测试邮件服务器是否连通。自定义 配置模式选择自定义时，需要您完成以下配置项。配置项 说明 发送服务器 邮箱的发送...
离线模式变量配置
本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置变量参数的任务，进入 配置 面板。在配置面板...
离线模式变量配置
本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置变量参数的任务，进入 配置 面板。在配置面板...
SelectDB数据源
附录：SelectDB脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步...
- 产品推荐
- 这些文档可能帮助您