Shell节点
例如，Shell节点定义的第一个参数为$1，则参数赋值区域序号第一的赋值内容$bizdate 即为$1的参数取值。如何判断Shell自定义脚本任务是否执行成功 脚本运行成功或者失败是根据如下进程退出码来进行判断的：退出码0：表示成功。退出码-1：...
自定义步骤 Flow-CLI 子命令：step
2.step.sh 既步骤执行的命令，step.sh 在流水线中运行时可以以环境变量的方式获取到来自流水线上下文的系统变量，以及用户通过编辑页面、运行传入的方式写入的入参，脚本中列举了一部分可供使用的环境变量：#!bin/sh set-e#脚本遇到错误...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
弹性伸缩 ESS ECS 部署
由于配置了分两批，手动确认，所以在部署完第一批之后，会暂停，你可以选择：终止本次变更 继续第二批机器的发布 跳转到 OOS 执行管理查看发布单详情 点击“继续发布后”，可以看到 Flow 继续完成了本次部署。结果验证 云效显示部署成功后...
“Script error.”的产生原因和解决办法
当网站请求并执行一个托管在第三方域名下的脚本时，就可能遇到该错误。最常见的情形是使用CDN托管JS资源。为了更好地理解，假设以下HTML页面部署在 http://test.com 域名下：!doctype ...
购买的域名为什么一直在处理中？
本文为您介绍购买域名后，订单状态一直处于处理中的常见场景、可能原因和相应解决方法。新购买的域名一直显示处理中状态 可能原因一：您的域名注册信息还在等待注册局实名核验系统进行数据关联。处理方法：根据《互联网域名管理办法》，...
API概览
后处理脚本 API 标题 API概述 SetPostScripts 设置集群后处理脚本 调用SetPostScripts设置集群后处理脚本。GetPostScripts 查询指定集群的后处理脚本 调用GetPostScripts查询指定集群的后处理脚本。VNC API 标题 API概述 ...
脚本和输出语法
脚本的解析能力包括获取消息内容、转换数据格式、处理字符串、组装JSON格式数据和处理二进制数据等。输出文件是使用固定的JSON数组格式，将设备上报数据或脚本解析后的数据，映射到数字孪生节点中。本文介绍如何编写脚本和输出文件。背景...
安装脚本配置说明
安装脚本支持包含bash、python等可以在Linux Shell环境中运行的脚本类型，脚本第一行必须加上注解指明运行时调用的命令，例如bash脚本第一行为#!bin/bash。脚本示例 该脚本示例输出集群环境变量、集群元数据、节点角色到/root目录下对应的...
录制脚本
使用在线录制功能，通过Web页面在远程设备安装应用，录制操作步骤，并生成测试脚本。前提条件 已打开指定应用的 用例管理 页面。具体操作请参见 打开用例管理页面。安装应用 在指定应用的 用例管理 页签，选择 脚本管理 子页签。在 在线...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
手动执行脚本
集群创建完成后，您可以通过手动执行脚本功能批量选择节点来运行指定脚本，以实现个性化需求。本文为您介绍如何添加手动执行脚本。背景信息 手动执行功能适用于长期存在的集群，对按需创建的临时集群，应使用引导操作来完成集群初始化工作...
CREATE FUNCTION
MaxCompute的资源名大小写不敏感，例如第一次上传资源时资源名为pyudf_test.py，后续在DataStudio重命名资源或用MaxCompute客户端覆盖资源时将资源名重命名为PYUDF_TEST.py，此时底层唯一标识的资源名仍然为pyudf_test.py。因此注册自定义...
权限
imm:GetWebofficeURL"],"Resource":"*","Effect":"Allow"},{"Effect":"Allow","Action":"ram:PassRole","Resource":"acs:ram:*:*:role/aliyunimmdefaultrole"}],"Version":"1"} 批处理和触发器服务角色权限 授权给IMM服务以访问OSS的权限...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
编辑脚本
并且在创建脚本文件时，系统根据脚本文件的类型，预置了部分初始代码，您可以在此基础上快速、高效地完成模型开发。操作步骤 当成功创建脚本文件后，单击脚本文件名，然后在脚本文件编辑页面中，单击 输入配置。当成功创建脚本文件后，单击...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
查看及管理离线集成任务列表
离线管道：离线管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。具体操作，请参见 通过单条管道创建集成任务。脚本任务：，可以通过直接编写数据同步的JSON脚本来完成数据...
UpdateDestination
DATAHUB：将解析器脚本处理后的Topic数据转发至阿里云DataHub，进行流式数据处理。ONS：将解析器脚本处理后的Topic数据转发至阿里云消息队列RocketMQ，进行消息分发。MNS：将解析器脚本处理后的Topic数据发送至阿里云消息服务中，进行消息...
迁移Batch批量计算到分布式工作流Argo集群
批处理作业（Batch）通常用于数据处理、仿真计算、科学计算等领域，往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发，完全符合开源工作流标准。通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用...
任务管理
查看执行结果 脚本任务执行完成后，不同类型的脚本文件产出的结果不同，如下：脚本类型 执行结果 创建联邦表 联邦表（一个或多个）预处理规则 联邦表（一个或多个）预处理规则（一个）预处理应用 联邦表（一个或多个）模型开发 联邦模型 ...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
Linux系统安装WDCP面板
说明 目前WDCP面板支持在（CentOS 6/7，Alibaba Cloud Linux 2）中部署，但在以上环境中安装WDCP面板以及一键部署lanmp环境，在第3步执行选择安装lanmp相关环境时相关安装程序安装脚本由于采用编译安装，会在以上大部分环境中存在安装失败...
页面变量
数据表配置 选中后，对页面变量或脚本处理之后的结构化数据进行解析并排序，以决定在组件上具体显示数据。详细信息，请参见 数据过滤器。处理后结果 当勾选了 数据过滤脚本 或 数据表配置 时出现的参数。经过脚本处理以及数据表配置优化...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
Spark计算引擎
Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力。AnalyticDB MySQL Serverless Spark是 AnalyticDB MySQL 团队基于Apache Spark打造的服务化的大数据分析与计算服务，开通 AnalyticDB MySQL 服务后只需...
GetDestination
DATAHUB：将解析器脚本处理后的Topic数据转发至阿里云DataHub，进行流式数据处理。ONS：将解析器脚本处理后的Topic数据转发至阿里云消息队列RocketMQ，进行消息分发。MNS：将解析器脚本处理后的Topic数据发送至阿里云消息服务中，进行消息...
消费者负载均衡
如上图所述，队列Queue1中有4条顺序消息，这4条消息属于同一消息组G1，存储顺序由M1到M4。在消费过程中，前面的消息M1、M2被消费者Consumer A1处理时，只要消费状态没有提交，消费者A2是无法并行消费后续的M3、M4消息的，必须等前面的消息...
ListParserDestination
DATAHUB：将解析器脚本处理后的Topic数据转发至阿里云DataHub，进行流式数据处理。ONS：将解析器脚本处理后的Topic数据转发至阿里云消息队列RocketMQ，进行消息分发。MNS：将解析器脚本处理后的Topic数据发送至阿里云消息服务中，进行消息...
SQL开发编辑器
引擎 资源组 支持的SQL SQL执行方式 Spark Job型资源组 Spark SQL 可支持批处理和交互式执行两种方式，详情请参见 Spark SQL执行方式。XIHE Job型资源组 XIHE BSP SQL 批处理方式执行。Interactive型资源组 XIHE MPP SQL 交互式执行。重要 ...
CREATE EXTENSION
因此，在处理未经仔细审查其脚本的扩展时，一个好的经验法则是仅将其安装到尚未具有 CREATE 特权且不会授予任何不可信用户的模式中。对它们依赖的任何扩展也是一样。针对此类安装时攻击，PolarDB提供的插件可以认为是针对这种安装时攻击的...
集成Skywalking
选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，...
数据过滤器
如果您选中字段a，则处理后的结果就是第一组数据中字段a的值 1。示例 配置API服务。本文以数据分析服务为例。具体操作，请参见 开发数据服务API。创建Web可视化应用并添加组件。本文以文字组件为例。具体操作，请参见 文字。选中文字组件，...
周期任务通用运维概述
DAG图支持可视化动态呈现该节点的上下游依赖关系，默认展示Main节点（选中节点）及上下游第一层节点。如果周期任务没有上下游节点，则DAG图仅展示当前Main节点。同时系统支持对上下游节点进行运维和管理。同时，您也可以调整DAG图页面范围...
基础概念
代码编辑区域，第一行是自动生成的 package 信息，请勿修改。说明 您在不同节点之间复制脚本时，请注意勿复制 package 部分。handle 方法（例如本例中的第9行）为引擎调用脚本的入口方法。输入参数为 StepMessage 类型，即本节点的输入消息...
DB2数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
周期任务通用运维概述
DAG图支持可视化动态呈现该节点的上下游依赖关系，默认展示Main节点（选中节点）及上下游第一层节点。如果周期任务没有上下游节点，则DAG图仅展示当前Main节点。同时系统支持对上下游节点进行运维和管理。同时，您也可以调整DAG图页面范围...
- 产品推荐
- 这些文档可能帮助您