通用功能插件
脚本执行目录 用于输入执行自定义Shell脚本的本地目录。上传产物 用于收集构建产物。选项 说明 路径 用于设置从根目录到构建产物存储目录的相对路径。说明 该选项须按照实际情况进行设置。是否遍历子目录 用于设置在上传构建产物时，是否遍...
Windows实例
命令执行错误提示的输出顺序差异 问题现象 使用云助手执行命令和在ECS实例本地执行命令，如果命令执行错误，则错误提示的输出顺序会不一致。例如，执行同一命令的错误示例如下所示：云助手执行命令 ECS实例本地执行命令 可能原因 使用云...
文件存储 HDFS 版和数据库MySQL双向数据迁移
实践四：将Hive的数据迁移到MySQL 将Hive的数据迁移到MySQL上，需要先在MySQL上创建好对应Hive数据结构的表，然后在集群Sqoop节点上使用 sqoop export 命令进行迁移。此处以迁移Hive上default.employee中的数据为例，该表中已写入如下数据...
HBase Shell使用介绍
通过Shell工具可以对云数据库HBase进行数据管理，包括建表、插入数据、删除数据和删除表等操作，本文介绍Shell的基本使用命令。访问配置 如果使用的是云数据库HBase标准版，基本环境的配置操作请参见 使用HBase Shell访问HBase标准版。如果...
Shell
Zeppelin支持Shell脚本（以%sh开头）。与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会...
编写教程
您可以在Cloud Shell中编写和启动教程，以帮助用户快速的熟悉您的项目。单击打开 Cloud Shell 教程模式。教程模式下，用户可以直接单击帮助文档中的命令行，在 Cloud Shell 中运行。步骤一：创建教程文件 完成以下操作，创建存储教程文档的...
Paimon与Flink集成
sql-client.sh-l/opt/apps/PAIMON/paimon-current/lib/flink/-l/opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/说明 即使您使用的是Hive3，也无需修改启动命令。执行以下Flink SQL语句，创建Hive Catalog。CREATE CATALOG test_...
生成keytab配置文件
使用SSH登录EMR Hive Master节点主机，执行如下命令进入Kerberos的admin客户端。sh/usr/lib/has-current/bin/admin-local.sh/etc/ecm/has-conf-k/etc/ecm/has-conf/admin.keytab 说明 EMR-3.30.0及后续版本（EMR-3x）和EMR-4.5.1及后续版本...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
External Catalog
不同元数据服务的配置方法如下：使用Hive Metastore元数据配置项如下。参数 是否必选 说明 type 是 数据源类型，取值为hive、hudi或deltalake。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/<Hive MetaStore的IP地址>:...
Flink Table Store与Flink集成
sql-client.sh-l/opt/apps/FLINK-TABLE-STORE/flink-table-store-current/lib/flink/-l/opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/重要 即使您使用的是Hive3，也无需修改启动命令。执行以下Flink SQL语句，创建Hive Catalog。...
API Inspector
API Inspector是一个实验性的功能，旨在让用户查看控制台的每一步操作背后的API调用，并自动生成各语言版本的API代码，可通过Cloud Shell和API Explorer在线调试。功能特点 API Inspector与API Explorer、Cloud Shell集成到一起，构成阿里...
常见命令
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Alluxio Shell命令来对Alluxio中的文件进行操作，也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群，并选择了Alluxio服务...
Snapshot（试用）
当您希望对OSS-HDFS服务的数据进行备份，在数据发生错误、被误删除时，将数据恢复至可用状态，您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能在使用方式上与HDFS的快照功能完全兼容，同时支持目录层级的操作。重要 此功能目前尚...
配置ECS远程命令节点
任务编排中的ECS远程命令节点，可以基于ECS云助手在远程ECS上执行Shell、PowerShell或Bat命令。本文介绍配置ECS远程命令节点的方法。应用场景 使用高级工具（例如：Python的Numpy库、Sklearn库，Spark的MLlib库）加工数据，产出各种业务...
使用HBase快照
disable 'table1' restore_snapshot 'table1-snapshot' enable 'table1' 导入快照 您可以使用命令行方式导入其他路径上的HBase快照。导入快照时您需要指定导入的快照名称、导入快照的源路径、保存快照的目的地址以及导入任务的mapper数量等...
使用HBaseue Shell访问增强版集群
可根据实际情况调整—><property><name>hbase.client.username</name><value>testuser</value></property><property><name>hbase.client.password</name><value>password</value></property>执行 bin/hbase shell 命令，就可使用原生的...
如何统计表行数
count 'table' 执行结果如下：使用HBase RowCounter统计表行数 已通过HBase Shell连接Lindorm宽表引擎，具体操作请参见 通过Lindorm Shell访问宽表引擎。RowCounter会在本地启动一个伪分布式的MR任务来进行COUNT操作。默认情况下这种方式是...
ACS:ECS:RunCommandForLongTime
1 commandType 云助手命令类型 String 是 workingDir 脚本在ECS实例中的运行目录 String 是 timeout 执行脚本的超时时间 Number 否 86400 enableParameter 命令中是否包含加密参数或自定义参数 Boolean 是 False parameters 命令参数 Json ...
EAIS软件包说明
使用方法 如果您想查看EAIS相关信息，只需在您安装eais-tool软件包后，执行 eais_smi 命令，即可在回显中查看EAIS实例规格、EAIS GPU使用率等信息，回显示例如下。eais-cuda 软件包说明 软件包信息 说明 安装要求 必须安装 用途 eais-cuda...
ACS:ECS:RunCommandForApplyPatchBaseline
动作描述 到ECS实例中执行补丁基线相关脚本 语法 Action:ACS:ECS:RunCommandForApplyPatchBaseline Properties:regionId:String commandContent:String instanceId:String commandType:String workingDir:String timeout:Number ...
ALIYUN:ECS:Invocation
如果指定了该参数，在Linux容器中只支持执行Shell脚本，不支持在脚本开头使用类似#!usr/bin/python 命令的形式指定脚本内容的解释器。更多信息，请参见 使用云助手在容器内执行命令。ContainerId String 否 否 容器ID。仅支持 64 位 16 进...
Lua脚本规范与常见报错
云原生内存数据库Tair 实例支持Lua相关命令，通过Lua脚本可高效地处理CAS（compare-and-set）命令，进一步提升 Tair 的性能，同时可以轻松实现以前较难实现或者不能高效实现的模式。本文介绍在 Tair 中使用Lua脚本的基本语法与使用规范。...
Lua脚本规范与常见报错
云数据库Redis实例支持Lua相关命令，通过Lua脚本可高效地处理CAS（compare-and-set）命令，进一步提升Redis的性能，同时可以轻松实现以前较难实现或者不能高效实现的模式。本文介绍通过Redis使用Lua脚本的基本语法与使用规范。注意事项 ...
查看和执行公共命令
根据上述步骤 1 返回的 CommandId 参数值，您可以通过调用 InvokeCommand 执行云助手公共命令，还可以直接使用命令名称执行公共命令，公共命令的名称在不同地域是相同的。执行公共命令时，请注意以下参数：CommandId：命令ID。对于公共命令...
Hive访问EMR HBase数据
hbase shell 执行以下命令，查看是否已经通过Hive在HBase中创建了表。describe 'hive_hbase_table' 返回信息如下。说明 查看表已存在，说明Hive已经在HBase中创建了表。执行以下命令，在HBase中查看Hive写的数据是否已存在。scan 'hive_...
Hive访问EMR HBase数据
hbase shell 执行以下命令，查看是否已经通过Hive在HBase中创建了表。describe 'hive_hbase_table' 返回信息如下。说明 查看表已存在，说明Hive已经在HBase中创建了表。执行以下命令，在HBase中查看Hive写的数据是否已存在。scan 'hive_...
通过数据湖元数据DLF读写Hudi
mkdir/etc/taihao-apps/hive-conf scp root@节点内网的IP地址>:/etc/taihao-apps/hive-conf/hive-site.xml/etc/taihao-apps/hive-conf/步骤二：启动Flink SQL 重要 务必将DLF的依赖包放置在Hive依赖包的前面，其中DLF依赖包中嵌入了Hudi的...
Docker 部署
在变量中设置 Docker 登录用户名和密码（DOCKER_USERNAME，DOCKER_PASSWORD），然后在部署脚本中使用命令 echo$DOCKER_PASSWORD|docker login-username$DOCKER_USERNAME-password-stdin registry.cn-hangzhou.aliyuncs.com（地址根据你们的...
通过Helm部署Jenkins
helm search 执行以下命令，更新charts列表：helm repo update 执行以下命令，查看在集群上安装的charts列表：helm ls 部署Jenkins 执行以下命令部署Jenkins：helm install-name my-jenkins-set Persistence.Enabled=false stable/jenkins ...
如何解决ubuntu系统下source:not found错误？
若在ubuntu系统下运行含有source命令的Shell脚本时，出现 source:not found 错误，原因可能是Shell的解释器不是bash，需把Shell的解释器更改为bash。什么是ubuntu系统？Ubuntu是一个由Canonical公司发布的以桌面应用为主的开源GNU/Linux...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
入门
Cloud Shell提供阿里云管理控制台和独立运行两种启动方式。启动后，您可以在Cloud Shell中管理您的云资源。启动Cloud Shell 选择一种方式启动云命令行：在控制台中运行 单击 控制台首页 头部导航的命令行按钮，启动云命令行。独立运行 在...
InvokeCommand-为一台或多台ECS实例触发一条云助手命令
如果指定了该参数，在 Linux 容器中只支持执行 Shell 脚本，不支持在脚本开头使用类似#!usr/bin/python 命令的形式指定脚本内容的解释器。更多信息，请参见 使用云助手在容器内执行命令。ab141ddfbacfe02d9dbc25966ed971536124527097398d...
RunCommand-在实例中执行脚本
调用RunCommand在一台或多台ECS实例中执行一段Shell、PowerShell或者Bat类型的脚本。接口说明 不同于通过 CreateCommand 和 InvokeCommand 执行命令，RunCommand 只需一次调用即可完成命令的创建与执行。调用该接口时，您需要注意：目标...
Command命令使用须知
使用须知 当您使用Alibaba Cloud Toolkit部署应用时，使用Command命令需注意以下几点：Command命令会在固定root账户下执行，若需更换用户，请在脚本内切换。脚本中不能使用 sleep 命令。脚本中不能使用 tail-f 等不中断的命令。示例 用户A...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
Java应用CPU使用率高
Java应用程序运行中，会遇到Java应用（JVM）进程CPU使用率高的情况。在这种情况下，Java应用的性能通常会下降，我们可以借助一些工具或命令收集问题信息，进行分析诊断，找到并解决造成Java应用（JVM）进程CPU使用率高的原因。重要 本文档...
EMR Hive功能增强
EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令，结果显示不正确的问题。优化Hive默认参数，以提升作业性能。修改E-MapReduce控制台上，Hive服务 配置 页面的 hive-env 页签的配置项名称为...
- 产品推荐
- 这些文档可能帮助您