特殊用法
如果您想跳过抛出异常的SQL语句继续循环执行，您需要确认数据库已经打开 语句级事务，并使用 SAVE EXCEPTIONS 的语法。此时，FORALL 语句会遍历完所有的变量，执行完所有SQL，然后抛出 FORALL_DML_ERROR 异常。以下是一个保存异常并继续...
快速体验趣视频解决方案
本教程为阿里云趣视频APP后台服务接口集成教程，主要用于解决趣视频App与视频点播服务之间数据交互、业务逻辑处理，提供运营对数据进行管理。包括随机生成用户，获取视频列表，获取凭证信息，上传视频，各种回调信息处理等能力。教程介绍 ...
HIVECLI
HIVECLI任务类型用于执行SQL脚本语句或者SQL任务文件。本文为您介绍创建HIVECLI类型任务时涉及的参数，并提供了HIVECLI任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：...
Dataphin中使用Shell任务调用DataX脚本，将MaxCompute...
问题描述 Dataphin中使用Shell任务调用Datax脚本，将MaxCompute数据同步至OSS，补数据运行报...解决方案 在创建数据同步的Shell脚本的JSON中添加如下参数问题解决：@required_resource{required_memory=2GB;required_cpus=1} 适用于 Dataphin
K8s任务
创建K8s任务 Shell脚本 如果想通过Pod运行Shell脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Shell-Script，镜像默认是busybox（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动...
自定义步骤 Flow-CLI 子命令：step
说明 user_command.sh 为 Flow 的一个默认规则，会将 step.yaml 中，name 为 command 的 Shell 脚本转化为 user_command.sh。当然，你也可以定义其他的 Shell 脚本，通过环境变量来获取脚本指令。3.Dockerfile 中包含了步骤运行时所需要的...
ECS上通过脚本进行主动推送告警记录至标准集成
2.将复制的链接替换成下述脚本里的URL shell脚本：#!bin/bash json=$(tail-n1 test.log)curl-i-X POST \ ' URL ' \-H 'Content-type':'application/json' \-d"$json"说明 请将上述脚本中的URL替换为控制台获取的推送URL地址。python脚本：#...
Dataphin同样的SQL脚本在开发环境执行正常，在生产...
问题描述 Dataphin同样的SQL脚本在开发环境执行正常，在生产环境执行报错"Sql AST Parser Exception:OsBizException:Not Support:sql count>=100 in one script。问题原因 开发环境中除了建表语句或者事务这种等特殊场景，其他SQL语句以...
测试方案介绍
您也可以在数据生成工具的目录中，使用如下Shell脚本导入数据。更多关于参数的说明，请参见 参数说明。for i in `ls*.tbl`;do echo$i;name=`echo$i|cut-d'.'-f1`;PGUSER=<AccessID>PGPASSWORD=<AccessKey>psql-p<Port>-h<Endpoint>-d...
运维与监控FAQ
例如：tail-n 100/usr/local/share/aliyun-assist/$(/usr/sbin/aliyun-service-v)/log/aliyun_assist_update.log 为什么Shell脚本在Ubuntu系统下无法执行？但在CentOS等系统中正常执行？因为高版本的Ubuntu系统的默认Shell环境为dash，而非...
新建命令
命令类型可以是Windows PowerShell脚本、Bat批处理命令和Linux Shell脚本，命令中支持自定义参数，方便设置变量值。使用限制 创建的脚本在Base64编码后大小不能超过18 KB。操作步骤 登录 轻量应用服务器管理控制台。在左侧导航栏，单击 ...
云安全中心反弹Shell多维检测技术详解
反弹Shell是黑客控制受害服务器的一种攻击手段，常用于受害服务器位于内网、受限于防火墙策略等无法使用正向连接的入侵场景。本文介绍反弹Shell攻击的现状、常规解决方法、分类与检测思想以及云安全中心针对反弹Shell提供的多维检测技术。...
性能测试指南
单副本版集群建表语句 双副本版集群建表语句 3.下载On Time数据 说明 On Time数据集覆盖的时间区间非常大，下载数据时间较长，同时数据下载过程中会遇到一部分数据已丢失的错误。echo ...
DataX同步数据
在 计算任务 页面，单击 计算任务 后的 图标，选择 通用脚本>SHELL。在 新建文件 对话框，配置参数后，单击 确定。参数 描述 名称 本教程中的名称为 DataX。调度类型 本教程中选择任务的调度类型为 手动节点。调度类型用于定义任务发布至...
DataX同步数据
在 计算任务 页面，单击 计算任务 后的 图标，选择 通用脚本>SHELL。在 新建文件 对话框，配置参数后，单击 确定。参数 描述 名称 本教程中的名称为 DataX。调度类型 本教程中选择任务的调度类型为 手动节点。调度类型用于定义任务发布至...
节点类型说明
MaxCompute MR MaxCompute 离线节点，当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的节点任务，使用上传节点资源文件的方式处理MaxCompute和Table Store类型的数据源；也支持通过写SQL语句方式处理。RDS MySQL RDS MySQL 离线...
步骤二：添加算法语句
通过算法语句或者上传脚本来处理数据，本文介绍如何输入算法语句或者上传资源文件。操作步骤 根据选择的节点类型，选择下述两种方式的其中一种，添加算法语句。方式一：输入算法语句 在节点编辑页面，输入算法语句，这里以MaxCompute SQL为...
步骤二：添加算法语句
通过算法语句或者上传脚本来处理数据，本文介绍如何输入算法语句或者上传资源文件。操作步骤 根据选择的节点类型，选择下述两种方式的其中一种，添加算法语句。方式一：输入算法语句 在节点编辑页面，输入算法语句，这里以MaxCompute SQL为...
新建MaxCompute MR类型的公共节点
当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的公共节点，使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 ...
新建MaxCompute MR类型的公共节点
当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的公共节点，使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 ...
自定义资源组
home/admin/alisatasknode/target/alisatasknode/bin/serverctl start/stop/restart 运行日志：Agent运行日志有以下两个存放路径：/home/admin/alisatasknode/taskinfo/：存放Shell脚本运行的日志信息，和DataWorks节点运行日志页面中查看...
基于弹性容器实例部署Parse Server应用
教程介绍 以下步骤及示例均已在 Alibaba Cloud Shell 中集成。您可以 在 Cloud Shell 中打开，快速体验通过Alibaba Cloud CLI部署Parse Server应用。在本教程中，您将完成以下操作：网络配置 部署应用 销毁应用 完成本教程后，您会创建以下...
节点运行ECS机器上的脚本
本实践通过在节点中使用Python第三方模块 Paramiko，实现远程连接ECS并调用ECS上指定路径的Shell脚本执行，同时，提供两类节点登录ECS的代码示例。注意事项 通过DataWorks节点运行ECS机器上的脚本，当DataWorks侧对应节点终止运行时，已经...
设置RDS MySQL循环执行事件
本文介绍如何使用数据管理DMS为RDS MySQL设置循环事件（定时和周期性任务）。前提条件 已创建具备目标数据库EVENT权限的RDS MySQL账号，即高权限账号、普通账号（读写）或普通账号（仅DML）。操作步骤 步骤一：开启 Event Scheduler RDS ...
MaxCompute数据开发规范
Shell节点 sh_{脚本命名} 不涉及 MapReduce节点 mr_{脚本命名} 不涉及 资源文件命名规范 资源名称需有后缀表示资源类型，例如.JAVA、.PY、.SH 等。任务设计规范 SQL任务：每个MaxCompute SQL任务至少有一个输出表。脚本需支持重跑，例如...
如何清理孤立文档
通过Mongo Shell命令运行JS脚本 在 cleanupOrphaned.js 脚本所在的目录下，执行以下命令清理孤立文档。mongo-host<Mongoshost>-port<Primaryport>-authenticationDatabase<database>-u<username>-p<password>cleanupOrphaned.js>output.txt...
使用Cloud Shell管理日志服务资源
Cloud Shell集成了以命令行方式管理日志服务资源和数据的CLI工具。您可以通过Cloud Shell统一的命令格式，管理您在日志服务中的资源。背景信息 您可以通过使用本教程来管理您日志服务中的如下资源：管理项目（Project）。例如：创建、查询...
通过Helm部署Jenkins
本教程介绍了如何在Cloud Shell中通过Helm部署Jenkins。教程介绍 以下步骤及示例均已在 Alibaba Cloud Shell 中集成。您可以 在 Cloud Shell 中打开，快速体验通过Helm部署Jenkins。在本教程中，您将完成以下操作：配置Helm 部署Jenkins ...
PyMySQL 连接 OceanBase 数据库示例程序
test_sql.py 代码介绍 本文获取的 test_sql.py 文件中的代码定义了数据库操作的 SQL 语句，包括创建表、插入数据、查询数据和删除表，这些 SQL 语句可以通过 PyMySQL 连接数据库后执行，以实现相应的功能。该文件中的代码主要包括以下几个...
基于执行命令的分批发布
根据要执行的脚本，选择 需要发送的命令 类型，本文选择 Linux Shell，然后将要执行的脚本复制粘贴到代码编辑框中，本文示例脚本为`df-h;ifconfig`。单击 选择实例，选择所有将要执行的实例，本文选择 指定实例标签，单击 选择标签，本文...
ECS实例部署的网页循环重定向判断及处理
页面重定向可能由几方面原因引起，浏览器端脚本引起的跳转一般由网页中的JavaScript控制，如将重定向的语句设为页面加载时自动运行，便将引起页面不停跳转，此类循环重定向可以从浏览器中观察或配合浏览器的调试工具进行确认。此时可以获取...
边缘脚本监控
边缘脚本EdgeScript是一种在CDN边缘节点上运行的JavaScript代码，用于实现自定义的请求处理逻辑。通过监控边缘脚本的执行情况，您可以确保自定义逻辑的正确性和性能。说明 边缘脚本的背景介绍，请参见 EdgeScript概述。功能介绍 边缘脚本的...
使用 FORALL 语句
示例 FORALL 语句创建一个循环：该循环的每次迭代都会递增 index 变量（通常在该循环内使用 index 选择集合的成员）。迭代次数由 lower_bound.upper_bound 子句进行控制。该循环为 lower_bound 和 upper_bound（含上限）之间的每个整数执行...
周期性调度
方式二：通过创建脚本任务并配置调度依赖，实现DLC任务的周期性调度。具体操作，请参见 方式二：创建脚本任务并配置调度依赖。前提条件 为 DLC 授权，详情请参见 云产品依赖与授权：DLC。已授权DataWorks可访问人工智能平台PAI。您可进入 ...
导出开源引擎任务
Command类型的Job Shell节点 若使用DataWorks on EMR模式，则转换为EMR SHELL节点。可在导入任务的 高级设置 进行配置。若Command命令行调用其他脚本，会自动分析具体是哪个脚本文件。分析到的脚本文件会注册为DataWorks的资源文件，转换后...
使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
创建压测场景
选择循环控制器后，单击其右侧的 图标，选择添加需循环执行的测试节点，并设置循环次数。压测时，会将此循环控制器下的测试节点按序执行设置的次数。事务控制器：事务控制器下所包含的所有测试节点将会被算作为一个事务。其包含 生成父样本...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
配置ECS远程命令节点
任务编排中的ECS远程命令节点，可以基于ECS云助手在远程ECS上执行Shell、PowerShell或Bat命令。本文介绍配置ECS远程命令节点的方法。应用场景 使用高级工具（例如：Python的Numpy库、Sklearn库，Spark的MLlib库）加工数据，产出各种业务...
物化视图和字段资产详情
如图所示：若仅设置了开始时间，为您展示异步：START('yyyy-MM-dd hh:mm:ss')，如图所示：手动：通过SQL语句触发刷新，DDL中包含下方代码块的语句。DEFERRED：异步物化视图创建成功后不进行刷新。您可以通过手动调用或创建定时任务触发刷新...
- 产品推荐
- 这些文档可能帮助您