Spark应用开发介绍
主文件是入口类所在的JAR包或者Python的入口执行文件。重要 Spark应用主文件目前只支持存储在OSS中。OSS Bucket与 AnalyticDB MySQL 集群需要在同一地域。files 否"files":["oss:/<testBucketName>/path/to/files_name1","oss:/...
Flink Python作业快速入门
无需填写 Entry Point Main Arguments 填写输入数据文件的OSS路径。说明 本示例中输入数据文件、输出文件和测试Python存放路径一致。统一放在OSS控制台，名称为flink-test-oss的Bucket下。本示例中，将计算结果写入到OSS指定目录为例，为您...
Airflow调度Spark
主文件是入口类所在的JAR包或者Python的入口执行文件。重要 Spark应用主文件目前只支持存储在OSS中。OSS Bucket与AnalyticDB MySQL集群需要在同一地域。class_name 是 Java或Scala程序入口类名称，必填参数。Python不需要指定入口类，非必...
任务执行记录投递
您可以使用云助手任务执行记录投递功能，将任务执行记录投递到对象存储OSS和日志服务SLS中，进行持久化存储。本文介绍如何通过云助手进行投递配置和查看已投递的执行记录文件。背景信息 云助手支持保留执行记录，但保留时长和条数均存在...
PythonArtifact
名称 类型 描述 示例值 object 本数据结构代表 Python 类型作业必填的信息。pythonArtifactUri string Python 类型作业 URL 全路径。https://oss/bucket/test.py mainArgs string 启动参数。start from main entryModule string Python 的...
访问OSS数据源
主文件是入口类所在的JAR包或者Python的入口执行文件。重要 Spark应用主文件目前只支持存储在OSS中。spark.adb.roleArn 跨账号访问外部数据源时使用的RAM角色。多个角色之间使用英文逗号（,）隔开。格式为 acs:ram:<testAccountID>:role/。...
安装ossftp
ossftp-1.2.0-win.zip Linux Linux系统默认安装Python2.7或Python3.x，所以安装包中不再包含可执行的Python，只包含了相关依赖库。ossftp-1.2.0-linux-mac.zip macOS macOS系统默认安装Python2.7或Python3.x，所以安装包中不再包含可执行的...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言和Java语言SDK开发包，调用 云原生多模数据库 Lindorm 的GetInstanceIpWhiteList接口（获取实例的访问白名单）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要...
运行设置
背景信息 为了避免不同任务运行之间产生资源或状态的冲突（如修改全局环境变量、移除本地共享文件等等），Dataphin默认为每个Shell或Python任务分配独立的容器来保障任务的互相隔离。但是大批量任务同时运行时会导致运行资源占用率高，影响...
提交作业
作业是E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。本文介绍如何使用E-HPC客户端提交作业。准备工作 提交作业前，您需要准备好作业文件，并上传到E-HPC集群中。E-HPC客户端支持以下两种方式上传作业文件：通过...
Dataphin如何在Shell脚本中指定Python脚本的运行环境...
概述 本文为您介绍Dataphin如何在Shell脚本中指定Python脚本的运行环境是Python3。详细信息 可以在运行Python脚本前加上这条语句来指定脚本的运行环境为Python3，也可以在下面这条命令后直接跟pip list、Python-V来查看当前环境装了哪些包...
通过控制台提交作业
作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC...
维护定期回收空间任务
示例的脚本文件：可以使用如下的Linux Shell脚本文件，作为crontab定期任务来执行。bin/bash export PGHOST=myinst.gpdb.rds.tbsite.net export PGPORT=3432 export PGUSER=myuser export PGPASSWORD=mypass #do not echo command,just get...
在远程服务器执行本地 Shell 脚本
若您想在远程服务器执行本地 Shell 脚本，使用传统方法需要先上传脚本，再登录远程服务器执行脚本，步骤繁多。使用 PelicanDT，可以通过一行 Java 代码实现此操作。前提条件 已安装 PelicanDT SDK。请参见 安装 PelicanDT SDK。已在 Linux ...
如何解决ubuntu系统下source:not found错误？
若在ubuntu系统下运行含有source命令的Shell脚本时，出现 source:not found 错误，原因可能是Shell的解释器不是bash，需把Shell的解释器更改为bash。什么是ubuntu系统？Ubuntu是一个由Canonical公司发布的以桌面应用为主的开源GNU/Linux...
预览 Web 应用
Cloud Shell 提供了网页预览功能。通过此功能，您可以在 Cloud Shell 虚拟机实例上运行 Web 应用，并预览它们。说明 目前该功能只开放给阿里云主账号使用。RAM 子账号暂时无法使用。启动网页应用 您可以在 Cloud Shell 虚拟机上运行任何...
安装Python SDK
本文介绍如何安装函数计算Python SDK。环境准备 安装Python 2.7或Python 3.6版本。更多信息，请参见 Python。说明 Python自带pip插件，无需再安装pip插件。成功安装后，执行 python-V 查看Python版本。安装SDK 本文以Linux为例，通过以下两...
编写iOS测试脚本
配置环境 本文以iOS 10为例进行说明，相应环境要求如下：macOS 10.11.5及以上 Xcode 8.0及以上 Appium 1.6.0及以上 创建Capabilities文件 使用Python语言编写Capabilities文件，指定执行测试脚本所需测试环境，文件命名为 desired_...
数据开发权限列表
Y Y N N N Shell、Python、Spark、MR代码任务目录 查看Shell、Python、Spark、MR代码任务目录 Y Y Y Y N 新建Shell、Python、Spark、MR代码任务目录 Y Y N N N 编辑Shell、Python、Spark、MR代码任务目录 Y Y N N N 确定Shell、Python、...
数据开发权限列表
Y Y N N N Shell、Python、Spark、MR代码任务目录 查看Shell、Python、Spark、MR代码任务目录 Y Y Y Y N 新建Shell、Python、Spark、MR代码任务目录 Y Y N N N 编辑Shell、Python、Spark、MR代码任务目录 Y Y N N N 确定Shell、Python、...
使用Python访问Hologres
Psycopg是Python用于操作PostgreSQL的库。Hologres兼容PostgreSQL 11，因此您可以通过psycopg访问Hologres。本文将指导您使用psycopg2访问Hologres，示例使用的操作环境为基于CentOS 7系统的Python 3.8版本。安装Python3.8 您可以基于...
通用功能插件
脚本执行目录 用于输入执行自定义Shell脚本的本地目录。上传产物 用于收集构建产物。选项 说明 路径 用于设置从根目录到构建产物存储目录的相对路径。说明 该选项须按照实际情况进行设置。是否遍历子目录 用于设置在上传构建产物时，是否遍...
Dataphin中创建Python读取MaxCompute物理表中数据
详细信息 在Dataphin创建Shell文件，执行以下代码：pip install pyodps 2.在Dataphin创建Python文件，执行以下代码：from odps import ODPS o=ODPS('your-access-id','your-secret-access-key','your-default-project',endpoint='your-end-...
使用Python操作OSS时出现“No module named oss2”...
解决方案 以Linux系统为例，在脚本文件的环境中，执行以下命令，安装python-devel开发包。sudo yum install-y python-devel 依次执行以下命令，安装oss2模块。sudo yum install-y epel-release sudo yum install-y python-pip pip install ...
上传和下载文件
Cloud Shell 提供了文件的上传和下载功能。您可以使用 Cloud Shell 轻松地上传和下载文件。为此，可以使用以下两种方法中的任何一种来传输文件：从 Cloud Shell Tab 栏中，选择 下载或者 上传，将文件上传至 Cloud Shell 和从 Cloud Shell ...
脚本任务
本文介绍如何在创建任务时直接编写Shell、Python和Go脚本以便创建脚本任务。接入方式 脚本任务支持两种接入方式：依赖jar包嵌在应用进程中。Agent接入（非Java SDK方式）。创建方式 脚本任务在创建调度任务时编写脚本即可。更多信息，请...
SHELL
SHELL任务类型，用于创建SHELL类型的任务并执行自定义的Shell脚本。本文为您介绍创建SHELL类型任务时涉及的参数，并提供了SHELL任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常...
编写Android测试脚本
步骤二、编写测试脚本 使用Python语言编写测试脚本，作为执行自动化测试的入口，放在项目根目录下（/main.py），文件命名为 main.py。说明 移动测试平台通过执行测试脚本 main.py，实施功能测试。示例代码及说明如下：#-*-coding:utf-8-*-...
提交离线任务至DLC
PAI DSW支持在JupyterLab中快速创建离线训练任务，把您开发的Notebook或Python代码提交到通用训练资源组进行离线训练。本文为您介绍如何使用JupyterLab提交离线训练任务。前提条件 已创建NAS类数据集，详情请参见 创建及管理数据集。已创建...
CentOS7.4系统yum-plugin-copr插件不能正常使用
问题描述 在CentOS7.4系统中，使用yum安装的yum-plugin-copr插件不能正常使用，执行如下命令。yum copr enable ngompa/snapcore-el7 系统显示类似如下错误。问题原因 Python的urllib3模块异常。解决方案 登录服务器，执行如下命令，查看...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
离线任务（PYTHON）zip包制作指南
说明：PYTHON离线任务支持PYTHON语言的3.6版本。PYTHON离线任务应用zip包的规范如下：zip包里面根目录不要出现start.sh和start_flow.sh zip包结构参照如下 xxx.zip#zip包中仅包含算法代码即可,根目录不要含有start.sh、start_flow.sh两个...
离线任务（PYTHON）zip包制作指南
说明：PYTHON离线任务支持PYTHON语言的3.6版本。PYTHON离线任务应用zip包的规范如下：zip包里面根目录不要出现start.sh和start_flow.sh zip包结构参照如下 xxx.zip#zip包中仅包含算法代码即可,根目录不要含有start.sh、start_flow.sh两个...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
Teamtnt变种攻击Hadoop集群
TeamTNT变种从（hxxp:/oracle.htxreceive.top/s3f715/i.jpg）下载ELF，该文件在作用于执行脚本，有利的绕过主机对于Shell脚本的检测。如下图可见程序进入主函数后只执行了四句程序：通过还原程序数据区域我们得到了调用Shell脚本的具体内容...
如何在Debian 9上安装Python 3.7
tar-xzf Python-3.7.3.tgz 切换到Python 源目录并运行 configure 脚本，该脚本将执行大量检查以确保系统上存在所有依赖项。cd Python-3.7.3./configure-enable-optimizations-prefix=usr/local/python3 说明：enable-optimizations 选项将...
Dataphin执行Shell任务，报错“java.io.IOException:...
问题描述 用户在使用Shell脚本得过程中，报错“java.io.IOException:javax.security.sasl.SaslException:GSS initiate failed[Caused by GSSException:No valid credentials provided(Mechanism level:Failed to find any Kerberos tgt)]”...
Shell
Zeppelin支持Shell脚本（以%sh开头）。与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
问题描述 Dataphin中Shell运行Jar文件报错“bash:java:command not found”。问题原因 1.代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是...
配置H5构建流水线
前序阶段成功才执行 前序阶段失败才执行 无条件执行：即前序阶段执行完成后，无论成功或失败，均执行本阶段。任务步骤 单击 添加步骤，设置该阶段的任务。在弹出的步骤列表中，选择待添加的步骤，将其添加至本阶段的 任务 列表，并进行相应...
- 产品推荐
- 这些文档可能帮助您