启动数据解析任务
数据解析任务配置完成后，您需启动任务。数据解析任务启动后，便可实时地处理数据，然后输出到目标Topic、IoT孪生引擎 或数据存储表，以进一步分析、处理和使用数据。本文介绍如何启动和查看数据解析任务。前提条件 已配置数据解析任务，...
配置数据聚合
您可以将数据聚合节点类比为Flink SQL的窗口...后续操作 配置完相邻消息计算节点后，您可以继续配置其他处理节点，也可以配置目标节点完成整个解析任务配置。配置数据计算和数据过滤 配置值转化 配置超时插值 配置相邻消息计算 配置目标节点
配置值转化
您可以通过值转化节点将解析任务的流转消息中某个...后续操作 配置完值转化节点后，您可以继续配置其他处理节点，也可以配置目标节点完成整个解析任务配置。配置数据计算和数据过滤 配置数据聚合 配置超时插值 配置相邻消息计算 配置目标节点
SQL分析概述
功能说明 通过创建SQL分析任务，将数据存储表的数据作为查询对象，使用SQL语句配置分析任务，调度产出所需的数据至自定义存储表，为进一步挖掘数据的价值，提供分析数据的基础。您可以在 物联网平台控制台 对应实例下的 数据服务>分析洞察 ...
设置调度依赖最佳实践
配置任务的本节点输入 您可以通过以下两种方式配置本节点输入：使用代码自动解析功能，解析出任务的依赖。手动输入任务依赖（手动输入父节点的 本节点的输出名称）。说明 手动输入上游节点时，输入的是父节点的 本节点的输出名称。如果父...
数据接入概述
可通过数据解析配置后，输出仅含所需数据的自定义存储表。数据指标 对设备数据源中的物模型数据，从指标和域维度管理数据指标，优化改进相关配置，从而提升业务效率。分析洞察 将产品的时序表和快照表的数据作为查询对象，使用SQL语句配置...
创建数据解析任务
物联网数据服务支持数据解析功能，对数据源数据进行预处理，用于更深层次地挖掘数据价值。本文介绍创建数据解析的具体步骤。前提条件 已备份设备数据源...配置解析任务前，请先了解数据解析工作台功能，更多信息，请参见 数据解析工作台说明。
数据解析工作台说明
背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例 ID 或备注名称。在左侧导航栏，选择 数据...
可选：运维SQL分析任务
SQL分析任务上线后，您可以查看SQL分析任务的基本信息和配置情况，以及SQL分析任务的调度情况。本文介绍运维SQL分析任务的操作步骤。前提条件 已配置并发布SQL分析任务，具体操作，请参见 步骤三：设置任务调度策略并发布。背景信息 SQL...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
机器学习的审计事件
CreateDebuggerConfig 创建分析任务的配置信息。CreateDefaultWorkspace 创建默认工作空间。CreateDingTalkRobotMessage 发送特定格式的消息给钉钉机器人。CreateEndpoint 创建并注册一个数据集加速槽挂载点。CreateExperiment 创建实验。...
步骤三：设置任务调度策略并发布
如果需要调整SQL分析任务输出的存储表的结构，且保留原已生成的数据存储表的数据，请重新创建并配置SQL分析任务。修改或删除已发布的SQL分析任务前，需先撤销该任务。仅可修改或删除状态为 未上线 和 已下线 的SQL分析任务。不可恢复已删除...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
任务组批量升级
配置任务组批量升级 通过企业设置->任务组管理->新建企业任务组，在创建新建任务组时，选择开启"支持批量升级。流水线使用任务组 在配置流水线过程中，选择已经创建的任务组。支持批量升级，流水线在使用任务组时无法任意更改任务组配置。...
新建VIRTUAL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，...
新建VIRTUAL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
创建和管理自定义存储表
具体操作，请参见 启动数据解析任务 和 配置SQL分析任务。开启归档 开启自动分区的存储表数据，支持数据归档。具体操作，请参见 管理离线数据归档。数据预览 或 更多>数据预览 自定义存储表应用于数据解析或SQL分析任务后，您可以预览最新...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。操作步骤 请参见 离...
设置过滤条件
前提条件 当前任务处于 配置任务对象及高级配置 阶段。进入此阶段的方法，请参见 同步方案概览 和 迁移方案概览 中的相关配置文档。注意事项 不支持复杂的过滤语句，例如 COLUMN1 IN(SELECT id FROM table1)。若源表或集合中存在两个列名仅...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
工作空间
工作空间介绍 用户工作空间内，包括数据管理、应用配置和分析任务等功能。数据管理：管理用户OSS存储中的基因数据文件，提供上传、下载、删除等操作。提供实体表格的功能，以类csv的形式，来结构化的存储基因数据文件及其元数据信息，如...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。操作步骤 请参见 离...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再...配置代码任务中的调度参数，详情请参见 配置任务基本信息。
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再...配置代码任务中的调度参数，详情请参见 配置任务基本信息。
UpdateJob-更新任务配置信息
更新任务配置信息。默认先调用获取任务找到对应字段进行修改。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 调试 授权信息 当前API暂无授权信息透出...
配置离线集成管道基本信息
在 属性 对话框中，基本信息 区域配置任务的基本信息。参数 描述 名称 新建离线集成任务时输入的任务名称。节点id 离线集成任务提交后会生成唯一的ID，不可以修改。节点类型 新建离线集成任务时选择的节点类型，不可以修改。开发责任人 ...
配置离线集成管道基本信息
在 属性 对话框中，基本信息 区域配置任务的基本信息。参数 描述 名称 新建离线集成任务时输入的任务名称。节点id 离线集成任务提交后会生成唯一的ID，不可以修改。节点类型 新建离线集成任务时选择的节点类型，不可以修改。开发责任人 ...
EDAS应用接入SchedulerX
单击 任务调度配置 区域 通知配置 右侧的 图标，可跳转至 任务调度>应用管理 页面中对应的应用分组的 通知配置 编辑页面进行通知配置。在 任务调度>应用管理 页面，单击对应的应用分组 操作 列的 查看实例，在 连接实例 对话框查看实例列表...
逻辑表调度配置概述
运行配置 您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。后续步骤 完成逻辑任务度调度配置后，您可提交并发布至生产环境。...
实时模式Checkpoint配置
在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行生效：若该处Checkpoint未配置，以运行参数中配置进行生效。若该处...
手动创建监控任务
监控任务管理可针对不同来源的任务进行统一监控任务的配置管理，支持批量创建、手动创建以及通过内置监控端对第三方系统和其他需要监控的任务创建。本文介绍如何手动创建监控任务。前提条件 任务来源处已完成任务配置且任务已运行。已添加...
新建HOLOGRES_SQL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。详细说明请参见：计算任务运行配置。说明 如果离线计算任务的调度类型为 手动任务，需要手动触发任务...
手动创建监控任务
监控任务管理可针对不同来源的任务进行统一监控任务的配置管理，支持批量创建、手动创建以及通过内置监控端对第三方系统和其他需要监控的任务创建。本文介绍如何手动创建监控任务。前提条件 任务来源处已完成任务配置且任务已运行。已添加...
新建MAX_COMPUTE_SQL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性及调度依赖。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本...
新建MAX_COMPUTE_SQL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性及调度依赖。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本...
配置任务监控报警规则
Dataphin支持批量配置任务级和字段级的监控报警，任务级支持物理任务、逻辑表任务，字段级支持逻辑表字段，便于您及时发现并处理任务报警，同时提高任务监控报警配置的效率。本文为您介绍如何为任务和逻辑表字段配置监控报警规则。前提条件...
- 产品推荐
- 这些文档可能帮助您