do-while节点逻辑原理介绍
使用Shell语言 if[${dag.loopTimes}-lt 5];then echo"True"else echo"False"fi 将循环次数${dag.loopTimes} 和5进行比较，来限制do-while节点整体的循环次数。例如：第一次循环${dag.loopTimes} 的值为1、第二次为2，以此类推，第五次为5。...
在云助手命令中使用OOS参数仓库
在云助手命令中使用自定义参数，可以更加灵活地编写脚本，提高命令的复用性。同时，系统运维管理 OOS提供参数仓库功能，支持普通参数和加密参数。您可以在云助手命令中结合OOS的参数仓库功能，更为方便和安全地管理自定义参数。前提条件 ...
Dataphin执行Shell任务，报错“java.io.IOException:...
问题描述 用户在使用Shell脚本得过程中，报错“java.io.IOException:javax.security.sasl.SaslException:GSS initiate failed[Caused by GSSException:No valid credentials provided(Mechanism level:Failed to find any Kerberos tgt)]”...
移动推送由于BadDeviceToken导致收不到通知的排查方法
那就拿着上报的那个Token，用Shell脚本和证书直接向APNs推，验证Token是否正确。运行Shell脚本，如果客户端不能收到通知，客户从端侧排查。运行Shell脚本，如果客户端能收到通知，客户联系技术支持从服务器端排查。如果端上能收到Shell脚本...
Shell
Zeppelin支持Shell脚本（以%sh开头）。与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会...
快速入门
② Shell脚本语言（以%sh开头），您可以运行Shell脚本，生成数据。③ Hive（以%hive开头），您可以执行任意的Hive SQL语句。④ 单击 图标，可以切换关联的集群。⑤ 单击 图标，运行当前段落。说明 部分解释器（Interpreter）在第一次使用的...
基于MSE云原生网关实现同城多活
使用Shell脚本发起请求，输出结果如下表明流量被负载均衡到可用区I和可用区J，两个可用区的集群各承担了50%的流量。两个集群工作负载数量非对等部署 可用区I的集群副本数量缩容为1。使用Shell脚本发起请求，输出结果如下表明可用区J的集群...
Tunnel命令常见问题
您可以利用Shell脚本实现，以在Windows环境下配合MaxCompute客户端使用Shell脚本为例，Linux环境下原理相同，Shell脚本内容如下。bin/sh C:/odpscmd_public/bin/odpscmd.bat-e"create table user(data string)partitioned by(dt int);...
步骤二：添加算法语句
说明 以Shell语言编写算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。单击 图标。说明 当未保存修改，直接关闭当前页面，本地会缓存修改的代码，当再次打开该节点编辑页面时，系统会给出提示：当单击 忽略，系统会清空...
步骤二：添加算法语句
说明 以Shell语言编写算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。单击 图标。说明 当未保存修改，直接关闭当前页面，本地会缓存修改的代码，当再次打开该节点编辑页面时，系统会给出提示：当单击 忽略，系统会清空...
Dataphin中使用Shell任务调用DataX脚本，将MaxCompute...
问题描述 Dataphin中使用Shell任务调用Datax脚本，将MaxCompute数据同步至OSS，补数据运行报错“Shell command exit with code:247”。完整的报错日志如下展示：2022-07-08 13:45:10.962[0-0-0-writer]INFO OssWriter$Task-upload part[191...
新建MaxCompute MR类型的公共节点
说明 以Shell语言编写启动算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。在 确认节点信息 对话框中，确认节点标识、节点名称以及节点目录信息设置无误后，单击 确认。单击页面右侧 运行配置 页签，选择需要的开发计算...
新建MaxCompute MR类型的公共节点
说明 以Shell语言编写启动算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。在 确认节点信息 对话框中，确认节点标识、节点名称以及节点目录信息设置无误后，单击 确认。单击页面右侧 运行配置 页签，选择需要的开发计算...
代码开发概述
本文列举 函数计算 支持的多语言运行时信息。背景信息 运行时提供针对不同语言在执行环境中运行的环境。运行时作为 函数计算 和您的函数之间的接力员，传递函数调用的事件（event）、上下文信息（context）和响应。您可以使用 函数计算 ...
Linux实例
如果不希望在命令前面写入过多的加载启动文件的语句，而是希望启用Shell解释器的交互模式和登录模式，由Shell解释器自身来加载所依赖的启动文件，那么可以使用Shell解释器的-i 参数启用交互模式、使用-l 参数启用登录模式。两个参数合并为-...
快速开始
HBase中写入数据 写入数据参见 使用 Java API访问增强版集群，这里使用Shell写入一条示例数据 hbase(main):008:0>put 'testTable','row1','f:name','foo' Took 0.1697 seconds Search实例中查询数据 在Search的WebUI中，选中刚才创建的索引...
在远程服务器执行本地 Shell 脚本
若您想在远程服务器执行本地 Shell 脚本，使用传统方法需要先上传脚本，再登录远程服务器执行脚本，步骤繁多。使用 PelicanDT，可以通过一行 Java 代码实现此操作。前提条件 已安装 PelicanDT SDK。请参见 安装 PelicanDT SDK。已在 Linux ...
MongoDB 5.0新特性概览
高级脚本环境 新版MongoDB Shell的脚本环境建立在Node.js REPL（交互式解释器）之上，您在脚本中可以使用所有的Node.js API和NPM的任何模块。您也可以从文件系统中加载和运行脚本（和旧版MongoDB Shell一样，您可以继续使用Load和Eval执行...
代码开发概述
本文列举 函数计算 支持的多语言运行时信息。背景信息 运行时提供针对不同语言的、在执行环境中运行的环境。运行时作为 函数计算 和您的函数之间的接力员，传递函数调用的事件（event）、上下文信息（context）和响应。您可以使用 函数计算...
新功能发布记录
提供OpenAPI，支持Shell语言，方便用户实施多语言扩展，或者在DevOps场景获取配置。支持获取一个租户下的配置列表。支持中英文。支持单机版下载。优化和提升：优化了命名空间组件。解决了与EDAS冲突问题。SDK瘦身发到公共仓库，减少了JAR...
Shell访问
使用Shell访问 进入到 alisolr-7.3.8-bin/bin目录。solr 创建索引表./solr create_collection-c testIndex-n_indexer_default-shards 2 索引名为 testIndex，使用默认配置集_indexer_default，分片数设置为 2。查看索引表./solr list_...
Dataphin在Shell脚本中引用全局变量时显示的为什么是...
问题描述 Dataphin在Shell脚本中引用全局变量时，显示的为什么是本地变量？问题原因 Shell任务中使用全局变量时，引用的是全局变量的编码，而不是变量名称。解决方案 在Shell中使用全局变量的编码即可。适用于 Dataphin 基于独立部署3.4.1...
使用访问凭证访问阿里云OpenAPI最佳实践
本文为您介绍如何在不同的场景中，实现以非AccessKey硬编码的方式编程，使用访问凭证访问阿里云OpenAPI。背景信息 AccessKey（简称AK）是阿里云提供给阿里云用户的访问密钥，用于访问阿里云OpenAPI时的身份验证。AccessKey包括AccessKey ID...
使用回收站
使用OSS-HDFS回收站时，需要客户端将待删除文件挪至指定目录，并由服务端定时清理该目录下的数据。删除文件说明 当您从OSS-HDFS服务删除文件时，文件不会立即被删除，而是转至/user/<username>/.Trash/Current 目录下。经过30分钟后，...
Dataphin使用Shell任务运行DataX同步任务时报错datax....
问题描述 Dataphin使用Shell任务运行DataX同步任务时报错datax.py的路径找不到是什么原因？解决方案 路径不对，修改datax.py的路径从$DATA_HOME修改为$DATAX_HOME。适用于 Dataphin
SDK采集
使用前须知 不同语言的日志服务SDK具体实现细节会有所不同，但是它们都是日志服务API在不同语言上的封装，实现的功能也基本一致。具体包括如下几个方面：实现对日志服务API接口的统一封装，让您不需要关心具体的API请求构建和响应解析。...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
概述
智能媒体管理提供了主流语言的SDK（Software Development Kit），您可以根据业务需求选择使用合适的SDK。前提条件 使用智能媒体管理SDK之前，您需要完成以下操作：了解并开通 阿里云智能媒体管理服务。创建AccessKey。SDK基于服务API实现且...
SDK参考概述
使用前须知 不同语言的日志服务SDK具体实现细节会有所不同，但是它们都是日志服务API在不同语言上的封装，实现的功能也基本一致。具体包括如下几个方面：实现对日志服务API接口的统一封装，让您不需要关心具体的API请求构建和响应解析。...
将MongoDB物理备份文件恢复至自建数据库
如需以副本集模式启动，需要先 以单节点模式恢复MongoDB数据，再按照以下步骤执行：在命令行中通过服务器的Mongo Shell使用test用户登录MongoDB数据库。mongo-host 127.0.0.1-u test-p用户密码>-authenticationDatabase admin 说明 如果您...
将MongoDB物理备份文件恢复至自建数据库
如需以副本集模式启动，需要先 以单节点模式恢复MongoDB数据，再按照以下步骤执行：在命令行中通过服务器的Mongo Shell使用test用户登录MongoDB数据库。mongo-host 127.0.0.1-u test-p用户密码>-authenticationDatabase admin 说明 如果您...
数据开发常见问题
解决方案：建议不要使用Shell类型作业开发Hive、Spark或Sqoop等作业，尽可能使用原生作业类型（例如，Hive、Spark或Sqoop等类型）进行开发，这些作业类型存在一定的关联机制，可以确保作业驱动程序本身和YARN Application状态的一致性。...
自定义任务模板
命令类型Step 命令类型Step可以让用户使用Shell命令描述构建行为。Shell命令支持模板语法（执行引擎为开源的 art-template），可以通过分割符['${{','}}']来获取上下文中的变量。例如，打印当前执行上下文中的应用名称，可以通过 echo${{ ...
自定义任务模板
命令类型Step 命令类型Step可以让用户使用Shell命令描述构建行为。Shell命令支持模板语法（执行引擎为开源的 art-template），可以通过分割符['${{','}}']来获取上下文中的变量。例如，打印当前执行上下文中的应用名称，可以通过 echo${{ ...
Dataphin如何在Shell脚本中指定Python脚本的运行环境...
概述 本文为您介绍Dataphin如何在Shell脚本中指定Python脚本的运行环境是Python3。详细信息 可以在运行Python脚本前加上这条语句来指定脚本的运行环境为Python3，也可以在下面这条命令后直接跟pip list、Python-V来查看当前环境装了哪些包...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称保持一致之后，问题解决。另外，需要注意的是：Dataphin环境中已经安装好了JDK，不需要每个Shell任务中再去安装。适用于 ...
概述
实时监控是一整套海量数据实时分析解决方案，以日志、REST 接口、Shell 脚本、云产品接口等作为数据采集来源，提供资源、应用、业务等各种视角的监控能力，从而帮您快速发现问题、定位问题、分析问题、解决问题，为线上系统可用率提供有效...
使用实例自定义数据自动配置ECS实例
步骤一：准备实例自定义数据 您可以利用实例自定义数据实现在ECS实例启动时自动执行自定义Shell脚本，在定义Shell脚本时，需注意以下几点：类型 说明 脚本格式 首行固定为#!例如#!bin/sh。脚本限制 在Base64编码前脚本内容不能超过16 KB。...
如何解决ubuntu系统下source:not found错误？
若在ubuntu系统下运行含有source命令的Shell脚本时，出现 source:not found 错误，原因可能是Shell的解释器不是bash，需把Shell的解释器更改为bash。什么是ubuntu系统？Ubuntu是一个由Canonical公司发布的以桌面应用为主的开源GNU/Linux...
Custom Runtime的bootstrap文件是Shell脚本时，出现...
当Custom Runtime的 bootstrap 文件是Shell脚本，且出现以下错误时，Custom Runtime的 bootstrap 文件一定要添加#!bin/bash。{"ErrorCode":"CAExited","ErrorMessage":"The CA process either cannot be started or exited:...
- 产品推荐
- 这些文档可能帮助您