Dataphin执行Shell任务，报错“java.io.IOException:...
问题描述 用户在使用Shell脚本得过程中，报错“java.io.IOException:javax.security.sasl.SaslException:GSS initiate failed[Caused by GSSException:No valid credentials provided(Mechanism level:Failed to find any Kerberos tgt)]”...
如何解决ubuntu系统下source:not found错误？
若在ubuntu系统下运行含有source命令的Shell脚本时，出现 source:not found 错误，原因可能是Shell的解释器不是bash，需把Shell的解释器更改为bash。什么是ubuntu系统？Ubuntu是一个由Canonical公司发布的以桌面应用为主的开源GNU/Linux...
Custom Runtime的bootstrap文件是Shell脚本时，出现...
当Custom Runtime的 bootstrap 文件是Shell脚本，且出现以下错误时，Custom Runtime的 bootstrap 文件一定要添加#!bin/bash。{"ErrorCode":"CAExited","ErrorMessage":"The CA process either cannot be started or exited:...
Custom Runtime的bootstrap文件是Shell脚本时，出现...
当Custom Runtime的 bootstrap 文件是Shell脚本，且出现以下错误时，Custom Runtime的 bootstrap 文件一定要添加#!bin/bash。{"ErrorCode":"CAExited","ErrorMessage":"The CA process either cannot be started or exited:...
提示“UEFI Interactive Shell”错误怎么办？
本文介绍Linux系统的ECS实例内部操作系统启动失败，提示“UEFI Interactive Shell”错误的问题原因和解决方案。问题现象 启动Linux系统的ECS实例时，实例内部操作系统启动失败，通过VNC远程连接实例时提示“UEFI Interactive Shell”错误。...
脚本任务
当前支持的脚本语言类型：Shell、Python和Go。步骤二：编写脚本 您可直接编写脚本或将脚本复制粘贴至代码输入框中。重要 当脚本源在Windows系统，但需在Linux系统上运行时，文件格式 选择 unix。步骤三：选择执行器 Agent 接入前提：需提前...
脚本任务
当前支持的脚本语言类型：Shell、Python和Go。步骤二：编写脚本 您可直接编写脚本或将脚本复制粘贴至代码输入框中。重要 当脚本源在Windows系统，但需在Linux系统上运行时，文件格式 选择 unix。步骤三：选择执行器 Agent 接入前提：需提前...
Dataphin在Shell脚本中引用全局变量时显示的为什么是...
问题描述 Dataphin在Shell脚本中引用全局变量时，显示的为什么是本地变量？问题原因 Shell任务中使用全局变量时，引用的是全局变量的编码，而不是变量名称。解决方案 在Shell中使用全局变量的编码即可。适用于 Dataphin 基于独立部署3.4.1...
移动推送由于BadDeviceToken导致收不到通知的排查方法
问题描述 移动推送由于BadDeviceToken导致收不到通知的排查方法。解决方案 查看app和移动推送注册的BundleId是否一致，环境是否符合预期，近期是否上传了Token。如果出现BadDeviceToken后，该AppKey+环境再用这个DeviceToken发，会直接不再...
预览 Web 应用
Cloud Shell 提供了网页预览功能。通过此功能，您可以在 Cloud Shell 虚拟机实例上运行 Web 应用，并预览它们。说明 目前该功能只开放给阿里云主账号使用。RAM 子账号暂时无法使用。启动网页应用 您可以在 Cloud Shell 虚拟机上运行任何...
为RAM子用户授权
RAM子用户在未授权时使用本产品会出现鉴权失败的情况，这时需要主账号为RAM子用户授权。注：访问权限控制RAM（Resource Access Management）是阿里云为客户提供的用户身份管理与访问控制服务。使用RAM，您可以创建、管理用户账号（比如员工...
数据开发常见问题
Balancer在移动Block时，会出现由于个别数据块没有完成而导致迭代较长的情况，您可以通过此参数对移动长尾进行控制。DataNode的主要参数。参数 描述 dfs.datanode.balance.bandwidthPerSec 指定DataNode用于Balancer的带宽，通常推荐设置为...
迁移场景
自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后必须进行重新编译。更多信息，请参见 Make/CMake构建文件 和 C/C++语言迁移。解释型语言：以...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称保持一致之后，问题解决。另外，需要注意的是：Dataphin环境中已经安装好了JDK，不需要每个Shell任务中再去安装。适用于 ...
Shell节点
通过Shell脚本里面访问OSSUtils OSSUtils使用路径、全路径，默认有安装。home/admin/usertools/tools/ossutil64。OSSUtils常用命令可参考：常用命令。配置用户名密码config可自行配置，比如将config基于运维助手将配置文件上传配置到该目录...
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
导出开源引擎任务
若Command命令行调用其他脚本，会自动分析具体是哪个脚本文件。分析到的脚本文件会注册为DataWorks的资源文件，转换后的Shell代码里会引用该资源文件。Hive类型的Job EMR_HIVE节点 若使用DataWorks on MaxCompute模式，则转换为ODPS SQL...
使用实例自定义数据自动配置ECS实例
步骤一：准备实例自定义数据 您可以利用实例自定义数据实现在ECS实例启动时自动执行自定义Shell脚本，在定义Shell脚本时，需注意以下几点：类型 说明 脚本格式 首行固定为#!例如#!bin/sh。脚本限制 在Base64编码前脚本内容不能超过16 KB。...
步骤二：添加算法语句
说明 以Shell语言编写算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。单击 图标。说明 当未保存修改，直接关闭当前页面，本地会缓存修改的代码，当再次打开该节点编辑页面时，系统会给出提示：当单击 忽略，系统会清空...
步骤二：添加算法语句
说明 以Shell语言编写算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。单击 图标。说明 当未保存修改，直接关闭当前页面，本地会缓存修改的代码，当再次打开该节点编辑页面时，系统会给出提示：当单击 忽略，系统会清空...
使用faasutil
例如，如果执行./faasutil Create_Image-Object=faasutiltest-forcompiling.tar.gz-Shell=f30010-FPGAType=xilinx-Name=faasutiltest-image 命令，会出现报错信息，您必须将命令及其参数的大小写与定义保持完全一致。faasutil命令中的 参数...
Shell
Zeppelin支持Shell脚本（以%sh开头）。与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会...
K8s任务
创建K8s任务 Shell脚本 如果想通过Pod运行Shell脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Shell-Script，镜像默认是busybox（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动...
K8s任务
创建K8s任务 Shell脚本 如果想通过Pod运行Shell脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Shell-Script，镜像默认是busybox（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动...
配置脚本代码节点
说明 您也可以通过Shell脚本调度其他程序，在其他程序中实现其各类脚本文件的调度。脚本文件名只能包含字母、数字、下划线（_）和半角句号（.）。步骤1：创建数据库网关 在脚本文件所在设备上创建数据库网关，并将脚本文件放在dg_scripts...
快速入门
② Shell脚本语言（以%sh开头），您可以运行Shell脚本，生成数据。③ Hive（以%hive开头），您可以执行任意的Hive SQL语句。④ 单击 图标，可以切换关联的集群。⑤ 单击 图标，运行当前段落。说明 部分解释器（Interpreter）在第一次使用的...
Dataphin中使用Shell任务调用DataX脚本，将MaxCompute...
问题描述 Dataphin中使用Shell任务调用Datax脚本，将MaxCompute数据同步至OSS，补数据运行报...解决方案 在创建数据同步的Shell脚本的JSON中添加如下参数问题解决：@required_resource{required_memory=2GB;required_cpus=1} 适用于 Dataphin
通用功能插件
选项 说明 脚本内容 用于输入自定义的Shell脚本。脚本执行目录 用于输入执行自定义Shell脚本的本地目录。上传产物 用于收集构建产物。选项 说明 路径 用于设置从根目录到构建产物存储目录的相对路径。说明 该选项须按照实际情况进行设置。...
错误处理
执行函数会出现报错/code/not_exist_file.py 不存在。Shell脚本示例#!bin/bash python3 not_exist_file.py 报错信息 Function instance exited unexpectedly(code 2,message:no such file or directory)with start command '/code/...
错误处理
执行函数会出现报错/code/not_exist_file.py 不存在。Shell脚本示例#!bin/bash python3 not_exist_file.py 报错信息 Function instance exited unexpectedly(code 2,message:no such file or directory)with start command '/code/...
概述
实时监控是一整套海量数据实时分析解决方案，以日志、REST 接口、Shell 脚本、云产品接口等作为数据采集来源，提供资源、应用、业务等各种视角的监控能力，从而帮您快速发现问题、定位问题、分析问题、解决问题，为线上系统可用率提供有效...
云安全中心反弹Shell多维检测技术详解
随着Go语言的兴起，云上入侵事件开始出现Go反弹Shell。从上图可以看出弹Shell实现的方式灵活多样，每种语言都可以进一步延伸和扩展。因此，为了保障最优的检出效果，反弹Shell的检测方案需要综合考虑多种场景因素。常规检测方法 常见的检测...
Dataphin中周期任务在运行时为何会出现等待资源问题
问题描述 夜间周期性任务出现高并发时，运行过程中有些任务会出现等待资源问题，原本只需要几十秒的任务，有时需要20多分钟，为什么会出现这种情况？是否有改善的方案？问题原因 任务会出现等待资源问题是由于mesos资源分配不足导致的。...
Cloud Shell概述
常见问题 是否支持RAM用户进行操作 支持RAM用户进行操作，并会根据您在访问控制中配置的RAM用户的管理权限来鉴权。使用RAM用户首次登录控制台启用Cloud Shell时，请参考界面提示完成相应授权。如何为RAM用户授权，请参见 创建RAM用户及授权...
小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
ECS上通过脚本进行主动推送告警记录至标准集成
其他 以上为在ECS服务上，如何以脚本的形式将服务器探测到的异常事件进行推送，其中脚本语言可以替换为其他语言（如集成在程序代码里）、原始记录不一定是日志（可以替换为其他方式所采集到的异常）、异常内容可以充分自定义（满足标准格式...
内置发布
常见问题 问：内置驱动Shell脚本执行完成后，没有看到设备上线？答：必须在云端完成驱动的配置，并部署到网关后，才能上线与之关联的子设备。相关操作 登录 边缘计算控制台。在左侧导航栏中，单击 驱动管理。在 驱动管理 页面 自研驱动 页...
手动任务快速入门
脚本 关联手动任务时您无需写内容，会获取您关联任务的脚本。保存工作流。单击画布右上方的 保存。在弹出的对话中，输入 工作流名称，单击 确定。运行工作流。在 工作流定义 页面，单击 图标（上线）。单击 图标（运行）。在弹出的对话框中...
自定义步骤 Flow-CLI 子命令：step
说明 user_command.sh 为 Flow 的一个默认规则，会将 step.yaml 中，name 为 command 的 Shell 脚本转化为 user_command.sh。当然，你也可以定义其他的 Shell 脚本，通过环境变量来获取脚本指令。3.Dockerfile 中包含了步骤运行时所需要的...
- 产品推荐
- 这些文档可能帮助您