离线同步常见问题
可能原因2：等待数据集成任务执行资源 解决方案2：若日志出现长时间WAIT状态，说明当前任务运行所使用的独享数据集成资源组剩余可运行的并发数不足以运行当前任务。具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？说明 ...
通过命令行工具创建排序脚本
python./sortscript delete-appName script_test-appVersionId 12345678-scriptName script1 在查询中使用脚本进行排序 首先确定脚本已经发布。在查询中设置second_rank_name为脚本名称，为了区分脚本名称不要和在opensearch控制台上创建的...
通过命令行工具创建排序脚本
python./sortscript delete-appName script_test-appVersionId 12345678-scriptName script1 在查询中使用脚本进行排序 首先确定脚本已经发布。在查询中设置second_rank_name为脚本名称，为了区分脚本名称不要和在opensearch控制台上创建的...
Dataphin脚本任务运行报错：“DQE callback-...
问题描述 Dataphin脚本任务运行报错：“DQE callback-checkDqeStatus response:{"dqeStatus":"FAILURE"}”。问题原因 当前表配置的数据质量规则校验失败了。解决方案 检查下配置的质量规则的运行记录，看看有没有对应到这个任务里的表的，...
Dataphin脚本任务for循环中如何只输出结果
概述 本文主要介绍如何解决Dataphin脚本任务for循环中只输出结果。详细信息 如下图如何只让输出结果 3、4不让输出_c0。上图代码打印的是record是对象，正常可以点字段出来对应字段的值，由于_c0是默认填充上去的点不出来字段，可以给sql中...
使用MaxCompute独享Tunnel进行数据同步
脚本模式同步任务使用独享传输资源 进入数据开发界面，打开或新建离线同步任务节点，在任务下方工具栏单击，转换为脚本模式，配置独享传输资源组，示例如下：{"stepType":"odps","parameter":{"partition":[],"datasource":"odps_source",...
Dataphin脚本任务运行报错“Error while processing ...
问题描述 Dataphin脚本任务运行报错“Error while processing statement:FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。解决方案 上述报错信息是底层计算源抛的错，需要查看底层hadoop引擎上...
离线集成概述
代码脚本开发：对于脚本任务，您可在代码编辑器中，使用代码开发离线管道任务。④ 配置及管理 配置及管理支持集成任务的属性配置、质量监控、相关、历史。属性配置：配置离线管道任务的属性，包括基本信息、调度配置、调度依赖、运行配置等...
离线集成概述
代码脚本开发：对于脚本任务，您可在代码编辑器中，使用代码开发离线管道任务。④ 配置及管理 配置及管理支持集成任务的属性配置、质量监控、相关、历史。属性配置：配置离线管道任务的属性，包括基本信息、调度配置、调度依赖、运行配置等...
预处理规则管理
关联任务 在预处理规则的 关联任务 页签下，可以查看预处理规则关联的脚本执行任务、任务发起时间和任务结束时间，以及下游任务的相关信息。单击任务名称，即可查看该任务的相关信息，包括执行日志、执行结果和发起的脚本等相关信息，关于...
基础概念
开发人员可以在集成流节点的属性上使用脚本方式进行动态配置。支持使用Groovy、Java语法编写脚本，降低Java体系开发人员的使用门槛。语法规则 支持JDK 1.8、Groovy 3.0的语法规则。脚本结构 在集成流设计器中，很多节点属性可支持通过...
一键更新镜像和执行脚本
您可以利用弹性伸缩的滚动升级功能，一键为伸缩组内的ECS实例更新镜像和执行脚本，提高管理伸缩组内ECS实例的效率。前提条件 使用本教程进行操作前，请确保您已经注册了阿里云账号。如还未注册，请先完成 账号注册。操作步骤 假设一个伸缩...
如何创建秒级调度任务
SchedulerX的秒级别任务属于定时调度类型，适用于简单Java任务、分布式Java任务和脚本任务，以及各种执行方式。由于秒级调度属于定时调度，所以在定时配置步骤中请将 时间类型 设置为 second_delay，并将 固定延迟 设置为 50（秒）。更多...
通过脚本录制断言特定业务逻辑的执行结果
说明 仅当您初次使用脚本录制功能时，需要执行本操作。在 脚本录制 页面，单击 本地安装。下载云监控浏览器拨测插件包。解压云监控浏览器拨测插件包。在谷歌（chrome）浏览器上输入 chrome:/extensions/。在 扩展程序 页面，先打开右上角的...
问题排查
本文介绍在本地环境调试数据解析脚本的代码示例，和物联网平台不能正常使用脚本解析数据时的排错方法。本地环境调试脚本 目前，物联网平台数据解析支持在线测试脚本是否能解析数据，但不支持调试。建议先在本地编写脚本、调试完成后，再将...
联邦模型管理
关联任务 在联邦模型的 关联任务 页签下，可以查看该模型关联的脚本执行任务、任务发起时间和任务结束时间，以及下游任务的相关信息。单击任务名称，即可查看该任务的相关信息，包括执行日志、执行结果和发起的脚本等相关信息，关于任务的...
物模型数据解析使用示例
步骤四：使用真实设备调试 正式使用脚本之前，请使用真实设备与生活物联网平台进行上下行消息通信，以验证生活物联网平台能顺利调用脚本，解析上下行数据。测试上报属性数据。使用设备端上报设备属性数据，例如 0x00002233441232013fa00000...
FLINK
任务示例 通过自定义脚本提交Flink任务 程序类型 选择 CUSTOM_SCRIPT，引用上传到Workflow资源中心的文件，脚本 内容示例如下：Flink类型作业支持JAR包形式的Flink Datastream、Table和SQL作业。flink run-m yarn-cluster-yjm 1024-ytm ...
提交物模型消息解析脚本
步骤四：使用真实设备调试 正式使用脚本之前，请使用真实设备与物联网平台进行上下行消息通信，以验证物联网平台能顺利调用脚本，解析上下行数据。您可使用物联网平台提供的Link SDK开发设备接入物联网平台。详细内容，请参见 Link SDK。...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
安全联合分析TrustDA/MPCSQL
2、mpcSql脚本任务配置及编写SQL脚本 使用缓存：这里可以选择是否使用缓存，如果使用，则选择步骤二中建好的缓存任务名称，可以加快sql执行效率。SQL脚本编写：当前支持join（inner join/full join/left join/right join)、group by、order...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...
使用Python SDK执行滚动升级任务
本教程以运行Linux系统的电脑为例，介绍如何使用阿里云Python SDK调用 系统运维管理 OOS（CloudOps Orchestration Service）的API执行滚动升级任务。前提条件 已创建伸缩组并添加ECS实例。已在本地电脑中安装Python。已创建RAM用户并获取...
使用EAIS推理PyTorch模型（Python）
支持使用 PyTorch script 模式和 PyTorch eager mode 模式进行推理，Python脚本开发说明和使用示例如下：使用PyTorch script模式推理 Python脚本开发说明 假设您的PyTorch模型推理初始源代码如下所示：#导入torch模块 import torch import ...
定制Linux自定义镜像
使用脚本前，务必在镜像中调试脚本，并保证调试通过。bin/bash#BEGIN INIT INFO#Provides:os-conf#Required-Start:$local_fs$network$named$remote_fs#Required-Stop:#Should-Stop:#Default-Start:2 3 4 5#Default-Stop:0 1 6#Short-...
SQL脚本模式
使用脚本模式 通过MaxCompute Studio使用脚本模式。使用MaxCompute Studio脚本模式，首先请保证MaxCompute Studio完成安装、添加项目链接、建立MaxCompute SQL脚本文件，详情请参见 安装IntelliJ IDEA、管理项目连接、创建MaxCompute ...
开发及提交SQL脚本
说明 在工具栏上，单击 图标，可以更新SQL脚本中使用的元数据，例如表、UDF。如果MaxCompute服务端存在表或函数，但MaxCompute Studio提示表和函数不存在时，请尝试使用该功能更新元数据。SQL依赖于您在 Project Explorer 窗口中添加的项目...
数据集成概述
适用场景说明 场景 描述 操作指导 通过管道脚本构建同步任务 基于已有的管道脚本开发管道任务，实现数据同步。下载已开发的管道脚本，详情请参见 通过单条管道创建集成任务。上传创建管道开发脚本，详情请参见 通过单条管道创建集成任务。...
使用DataWorks数据集成从MySQL导入数据到GDB
执行同步任务脚本 单击脚本窗口右侧导航栏的 基本配置，在弹出窗口选择 资源组。单击，开始导入RDS MySQL数据至图数据库GDB。说明 如果配置以及网络环境正确，您将看到周期性的同步信息输出，最后同步完成时会输出任务的统计信息。如果您只...
上线脚本同步任务
新增脚本同步任务后，需对任务进行上线操作，脚本同步任务上线后会按照创建任务中设置的调度周期执行。本文介绍如何上线脚本同步任务。前提条件 已新增脚本同步任务，具体操作，请参见 新增脚本同步任务。操作步骤 登录企业数据智能平台。...
将表格存储时序表中数据同步到另一个时序表
当存在不支持向导模式的数据源时，如果继续编辑任务，将强制使用脚本模式进行编辑。任务转为脚本模式后，将无法转为向导模式。配置任务并保存。全量数据的同步需要使用到Tablestore（OTS）Reader与Tablestore Writer插件。脚本配置规则请...
上线脚本同步任务
新增脚本同步任务后，需对任务进行上线操作，脚本同步任务上线后会按照创建任务中设置的调度周期执行。本文介绍如何上线脚本同步任务。前提条件 已新增脚本同步任务，具体操作，请参见 新增脚本同步任务。操作步骤 登录 数据资源平台控制台...
通过向导模式配置离线同步任务
使用说明 部分数据源不支持使用向导模式配置离线同步任务，您可以选择数据源后，根据界面提示，若当前数据源不支持向导模式编辑任务，则单击工具栏中的 图标切换至脚本模式继续配置任务。详情请参见 通过脚本模式配置离线同步任务。向导...
录制脚本
使用在线录制功能，通过Web页面在远程设备安装应用，录制操作步骤，并生成测试脚本。前提条件 已打开指定应用的 用例管理 页面。具体操作请参见 打开用例管理页面。安装应用 在指定应用的 用例管理 页签，选择 脚本管理 子页签。在 在线...
执行实例
工作流的每次执行称为一个执行实例，通过执行实例...可选：如需了解某个节点任务的详细信息，请 复制 任务名称，在控制台左侧导航栏 任务管理 的对应功能页签选择 按ID查询 进行查询。相关API 遍历媒体工作流执行实例 查询媒体工作流执行实例
服务端发布记录
无 脚本任务 修复 脚本任务无法导出、导入问题。脚本任务 任务管理 HTTP任务 修复 HTTP任务无法获取到instanceParameters的问题。HTTP任务（Serverless）2024-02-29 功能名称 变更类型 功能描述 相关文档 Java版本SDK v1.11.1 修复 Netty、...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
在Jenkins中使用EDAS插件构建应用部署的任务
本文介绍了在Jenkins控制台的白屏化部署过程，使用流水线的部署步骤以及使用Job-dsl的任务模板来快速生成部署任务的简介。前提条件 已安装Job-dsl插件。安装edas-jenkins-plugin 下载 edas-jenkins-plugin安装包。登录Jenkins首页，单击 ...
在Jenkins中使用EDAS插件构建应用部署的任务
本文介绍了在Jenkins控制台的白屏化部署过程，使用流水线的部署步骤以及使用Job-dsl的任务模板来快速生成部署任务的简介。前提条件 已安装Job-dsl插件。安装edas-jenkins-plugin 下载 edas-jenkins-plugin安装包。登录Jenkins首页，单击 ...
- 产品推荐
- 这些文档可能帮助您