周期性调度
方式二：通过创建脚本任务并配置调度依赖，实现DLC任务的周期性调度。具体操作，请参见 方式二：创建脚本任务并配置调度依赖。前提条件 为 DLC 授权，详情请参见 云产品依赖与授权：DLC。已授权DataWorks可访问人工智能平台PAI。您可进入 ...
提交作业
如果你想要执行 SHELL，可以使用”/bin/bash-c‘cd/home/xx/python a.py’”或者将 Shell 写到一个 sh 脚本中如：test.sh,然后用”sh test.sh”执行。CommandLine 具体位置：命令行工具中 bcs sub[job_name][options]的 cmd。使用 Java sdk...
流水线上的自定义脚本任务
构建任务的配置 基本配置 在流水线编辑页面，添加任务时，请选择“自定义脚本”，并填写其基本配置：目前支持的脚本类型：shell。运行环境为云效提供的基础环境：registry.cn-beijing.aliyuncs.com/rdc-builds/base:1.0 。环境变量 云效...
REMOTESHELL
脚本 您自定义的Shell程序。资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务...
管理手动任务
yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false 脚本 您自定义的Shell程序。资源 任务执行...
新建MaxCompute MR类型的公共节点
当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的公共节点，使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 ...
Command命令使用须知
bin/shell pkill-f test.jar sleep 5 rm-rf test.log nohup java-jar test.jar>test.log&tail-f test.log 解析：脚本中存在 sleep 命令，需删除。脚本中存在 tail-f 不中断命令，需删除。按照Command命令 使用须知，将脚本做了以下更改，...
新建MaxCompute MR类型的公共节点
当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的公共节点，使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 ...
基于弹性容器实例部署Parse Server应用
教程介绍 以下步骤及示例均已在 Alibaba Cloud Shell 中集成。您可以 在 Cloud Shell 中打开，快速体验通过Alibaba Cloud CLI部署Parse Server应用。在本教程中，您将完成以下操作：网络配置 部署应用 销毁应用 完成本教程后，您会创建以下...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
导出开源引擎任务
Command类型的Job Shell节点 若使用DataWorks on EMR模式，则转换为EMR SHELL节点。可在导入任务的 高级设置 进行配置。若Command命令行调用其他脚本，会自动分析具体是哪个脚本文件。分析到的脚本文件会注册为DataWorks的资源文件，转换后...
发送远程命令
如果您想快速完成对实例资源的日常维护（例如批量在ECS实例上安装或卸载软件、重置用户密码及自动化运维脚本等），您可以通过ECS管理控制台使用发送远程命令功能进行操作。本文主要介绍如何通过ECS管理控制台对一个或多个ECS实例发送命令。...
采集脚本执行日志
支持设置bash、shell、python2、python3四种脚本命令。支持设置运行命令使用的用户，以实现脚本可访问的资源限制。脚本执行超时的时候，系统自动停止脚本执行，Logtail不会采集本次脚本执行日志。操作步骤 登录 日志服务控制台。在 接入...
滚动升级
请继续指定以下信息：脚本类型，支持以下三种脚本：Linux Shell：例如显示主机名命令 hostname、回显hello命令 echo hello。Windows Bat：例如显示目录文件命令 dir c:\。Windows PowerShell：例如显示服务命令 Get-Services。用于执行的...
临时查询
E-MapReduce数据开发支持Shell、SparkSQL、Spark Shell和HiveSQL四种类型的临时查询作业。注意 创建作业时作业类型一经确定，不能修改。单击 确定。设置作业 各个具体作业类型的开发与设置，请参见 作业 部分。以下内容介绍的是作业的 基础...
什么是管理控制台
多种形式的管理平台：提供Web界面控制台通过简单的交互方式执行操作，同时提供Cloud shell命令行工具，可以通过脚本进行日常运维。移动端随时随地管理：阿里云App已支持数十款云产品在移动端的运维管控操作，可以随时随地查看监控数据、...
数据开发常见问题
问题分析：终止Shell作业时会给Shell进程发送终止信号，如果YARN Application的驱动程序和Shell进程不存在父子进程关系，则YARN Application不会随Shell进程的终止而终止。例如Hive、sqoop、spark-submit（cluster模式）均存在这种情况。...
在代码库中存储部署脚本
为了方便部署脚本的分发，避免每次更新部署脚本，都要更新所有的机器，可以把部署脚本放置在代码库中，也方便统一维护。在云效中，您可以按照如下方式组织您的部署配置。代码库目录 假设您的代码库中有如下文件：.├─app.release└─...
步骤二：添加算法语句
说明 以Shell语言编写算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。单击 图标。说明 当未保存修改，直接关闭当前页面，本地会缓存修改的代码，当再次打开该节点编辑页面时，系统会给出提示：当单击 忽略，系统会清空...
发送远程命令
云助手是阿里云提供的原生运维部署服务，您无需连接云电脑，即可通过云助手远程自动执行Bat、PowerShell或者Shell命令，完成运行自动化运维脚本、安装或卸载软件等任务。重要 云电脑默认已安装并运行云助手服务，请勿停止该服务，以免影响...
步骤二：添加算法语句
说明 以Shell语言编写算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。单击 图标。说明 当未保存修改，直接关闭当前页面，本地会缓存修改的代码，当再次打开该节点编辑页面时，系统会给出提示：当单击 忽略，系统会清空...
检测范围说明
恶意脚本 检测资产的系统功能是否受到恶意脚本的攻击或篡改，对可能的恶意脚本攻击行为进行告警提示。恶意脚本分为有文件脚本和无文件脚本。攻击者在拿到服务器权限后，使用脚本作为载体来达到进一步攻击利用的目的。利用方式包括植入挖矿...
使用faascmd
否则可选>-shell=<Shell Version/必选>-name=可选>-description=可选>-tags=可选>示例代码：查看FPGA镜像 faascmd list_images 命令用于查看用户制作的所有FPGA镜像的信息。命令格式：faascmd list_images 示例代码：说明 每个RAM用户最多...
执行命令
命令执行结果的详情信息包括执行ID、执行状态、执行时间、命令类型、执行结果、脚本内容等。多个服务器执行命令 登录 轻量应用服务器管理控制台。在左侧导航栏，单击 命令助手。在 我的命令 页签下，在目标命令的 操作 列，单击 执行。在...
配置ECS远程命令节点
任务编排中的ECS远程命令节点，可以基于ECS云助手在远程ECS上执行Shell、PowerShell或Bat命令。本文介绍配置ECS远程命令节点的方法。应用场景 使用高级工具（例如：Python的Numpy库、Sklearn库，Spark的MLlib库）加工数据，产出各种业务...
使用faasutil
命令格式：faasutil create_image-object=[object_name]-shell=[shell_ver]-fpgatype=[fpga_type]其中，上述命令中主要参数说明如下所示：[object_name]：用于编译的原始文件的名称，请确保已将原始文件上传至OSS Bucket。[shell_ver]：...
CDH6与文件引擎集成
说明 该脚本是Yarn 在安装的时候，用于配置环境的脚本。登录CDH6管理系统，单击集群名称右边的，然后单击 添加服务，进入安装向导界面。选择YRAN服务，单击 继续，根据 安装指南 配置YARN服务，配置都可以按照默认配置。等服务安装完成之后...
核心文件监控
说明 Python脚本访问文件时，云安全中心无法获取命令行信息。Shell内置命令访问文件时，云安全中心无法获取准确的命令行信息。例如访问命令为 echo"new content">>/etc/nginx/nginx.conf 时，由于该命令是通过Shell的内置命令给nginx.conf...
UpdateJob-更新任务配置信息
com.alibaba.test.helloworld Content string 否 任务类型为Python/Shell/Go/K8s的必填脚本内容。echo 'hello' Parameters string 否 用户自定义参数，运行时可以获取。test MaxConcurrency integer 否 最大同时运行实例数量，默认值为1，...
入侵防御原理介绍
命令执行和反弹shell：攻击者可能通过执行恶意命令和反弹Shell来获取非法访问权限。为了应对这些攻击，企业需要采取相应的安全措施和防护策略，如部署云防火墙、加强网络安全配置、及时修复漏洞，以确保业务系统的安全性和稳定性。云防火墙...
DescribeCommonOverallConfigList-查询防御开关的配置
ENABLE-SWITCH-TYPE_50873：WebShell 执行命令 USER-ENABLE-SWITCH-TYPE_51236：Windows 反弹 shell USER-ENABLE-SWITCH-TYPE_50877：Linux 恶意程序通信 USER-ENABLE-SWITCH-TYPE_50884：Linux 可疑蠕虫脚本行为 USER-ENABLE-SWITCH-TYPE_...
添加应用
脚本内容：配置脚本内容。文件：单击 上传，上传压缩包文件。说明 如果制作.zip镜像包，请参见 离线任务（JAVA）zip包制作指南、离线任务（PYTHON）zip包制作指南。镜像 镜像地址：选择镜像地址。镜像版本：选择镜像版本。环境变量 配置...
添加应用
脚本内容：配置脚本内容。文件：单击 上传，上传压缩包文件。说明 如果制作.zip镜像包，请参见 离线任务（JAVA）zip包制作指南、离线任务（PYTHON）zip包制作指南。镜像 镜像地址：选择镜像地址。镜像版本：选择镜像版本。环境变量 配置...
使用IntelliJ IDEA部署应用到Windows服务器
若需使用DOS命令，请用批处理脚本（.bat/.cmd）来执行。结果验证 部署开始后，IntelliJ IDEA的 Console 区域会打印部署日志，您可以根据日志信息检查部署结果。您还可以通过内置Terminal终端登录远程服务器，执行 cd 命令至部署的路径下，...
DescribeCommonOverallConfig-主开关全局配置
USER-ENABLE-SWITCH-TYPE_50876：对抗安全软件 USER-ENABLE-SWITCH-TYPE_50877：恶意程序通信 USER-ENABLE-SWITCH-TYPE_50884：可疑蠕虫脚本行为 USER-ENABLE-SWITCH-TYPE_50885：恶意脚本行为 USER-ENABLE-SWITCH-TYPE_50983：混淆命令 ...
作业编辑
目前E-MapReduce数据开发支持的作业类型有：Shell、Hive、Hive SQL、Spark、SparkSQL、Spark Shell、Spark Streaming、MR、Sqoop、Pig、Flink、Streaming SQL、Presto SQL和Impala SQL。说明 创建作业时 作业类型 一经确定，不能修改。单击...
自定义任务模板
在Serverless实例上运行自定义地脚本。worker:#指定runner类型为应用中心预置的serverless-runner。serverless-runner的执行引擎会识别runnerConfig以及steps参数。presetWorker:serverless-runner executeCondition:#在执行上下文中，表达...
基于执行命令的分批发布
根据要执行的脚本，选择 需要发送的命令 类型，本文选择 Linux Shell，然后将要执行的脚本复制粘贴到代码编辑框中，本文示例脚本为`df-h;ifconfig`。单击 选择实例，选择所有将要执行的实例，本文选择 指定实例标签，单击 选择标签，本文...
- 产品推荐
- 这些文档可能帮助您