搭建Hadoop环境

sudo sh-c"echo 'export HADOOP_HOME=opt/hadoop'>>/etc/profile"sudo sh-c"echo 'export PATH=\$PATH:/opt/hadoop/bin'>>/etc/profile"sudo sh-c"echo 'export PATH=\$PATH:/opt/hadoop/sbin'>>/etc/profile"source/etc/profile 执行以下...

使用自定义镜像创建ACK集群

provisioners":[{"type":"shell","scripts":["config/default.sh","scripts/updateOSKernel.sh","scripts/updateDNS.sh","scripts/add-yum-repo.sh","scripts/prepare-images.sh","scripts/reboot.sh","scripts/verify.sh"],"expect_...

CreateIDCImportCommand-生成非阿里云ECS集群的导入...

调用CreateIDCImportCommand接口生成非阿里云ECS集群的导入命令。接口说明 导入非阿里云 ECS 至非阿里云 ECS 集群的...b197-40ab-9155-7ca7 示例 正常返回示例 JSON 格式 {"Code":"200","Message":"success","Data":"wget-q-O/tmp/install.sh ...

编译SDK

outlet├─README.md├─Service│└─version└─tools├─5981a.sh├─amebaz_dev├─amebaz_dev.sh├─asr5501├─asr5501.sh├─bk7231u├─bk7231udevkitc.sh├─cmd├─mk3060.sh├─mk3080.sh├─moc108├─mx1270.sh├─rda5981├...

设置数据分片以充分利用Shard性能

基于范围分片的配置示例:sh.shardCollection("mongodbtest.customer",{"name":1})基于哈希分片的配置示例:sh.shardCollection("mongodbtest.customer",{"name":"hashed"})后续操作 经过一段时间的运行或数据写入后,您可以在Mongo Shell...

测试ESSD PL-X云盘性能

单击展开 test_plx_lat.sh脚本说明 以下为ESSD PL-X云盘的时延性能测试脚本test_plx_lat.sh的详细说明,请您根据实际情况进行配置。以下命令将块设备的系统参数 rq_affinity 取值修改为 2。echo 2>/sys/block/$DEV_NODE/queue/rq_affinity ...

组件接入最佳实践

upgrade-crds annotations:"helm.sh/hook":post-install,post-upgrade,post-rollback"helm.sh/hook-delete-policy":before-hook-creation,hook-succeeded labels:{{-include"myapp.labels".|nindent 4 }} spec:backoffLimit:3 template:...

如何使用DataV Proxy

chmod 777./*sh exec.sh start 说明 您也可以通过 sh exec.sh start-p[端口号]命令,设置端口号并启动。例如 sh exec.sh start-p 8080。您可以通过 sh exec.sh stop 命令,停止服务。服务启动成功后,在浏览器中访问 http://域名/IP:端口。...

sample-txc-edas 样例

该样例综合了 GTS、EDAS 及 MQ 的使用,...在 sample-mq-consumer 目录下执行 build.sh 编译该工程,编译完成后在 sample-mq-consumer/client/bin 目录下执行 run.sh 可以消费掉刚刚 sample-txc-edas/txc-client-mq 工程生产出来的 MQ 消息。

Shell

Zeppelin支持Shell脚本(以%sh开头)。与开源Zeppelin相比,E-MapReduce(简称EMR)数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会...

使用Python依赖

zip-r venv.zip venv 说明 本文以作业为VVR 8.x,Python 3.7为例为您介绍,如果您需要使用其他VVR版本或安装其他版本的Python的虚拟环境,则需要修改以下两个参数:miniconda.sh脚本信息:修改为您的目标版本地址信息。apache-flink:修改...

通过开源Kafka命令行工具访问消息引擎

bin/kafka-console-consumer.sh-bootstrap-server消息引擎Kafka地址>-describe-topic名称>[-from-beginning]其中,-from-beginning 为可选参数,如果语句中携带此参数,表示从最早的数据开始读起。查看消费组信息 读取数据库,系统会自动...

漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞

sh./restore.sh 20221024160338 最后可以执行./check.sh 命令来验证修复过程是否完成。如果修复完成,则返回以下提示信息。OK:CVE-2022-25168 is already fixed.This tools updated at 2022/10/13.*重要 本修复方式是替换源码修改后的同...

如何使用DataV-WS服务

chmod 777*sh exec.sh start 您可以通过 sh exec.sh stop 命令,停止服务。您可以通过 sh exec.sh restart 命令,重启服务。在DataV-WS服务开启后,可完成WebSocket服务、模型服务和静态资源服务的开发和演示等功能操作,详情请参见 配置...

Webshell登录应用失败如何处理?

问题现象 Webshell无法使用 Webshell登录错误 Webshell登录应用失败 可能原因 应用健康检查一直失败 镜像架构问题 镜像没有安装sh工具 解决方案 针对不同的原因,解决方案不同,具体步骤如下所示。应用健康检查一直失败 健康检查不通过,将...

基于ACCL优化套件进行多机训练

假设BERT训练代码位于/home/accl/BERT 目录下,容器启动时挂载至目录-v/home/accl/BERT:/workspace/BERT,那么训练脚本的具体路径为/workspace/BERT/run_pretraining.sh。说明 在任务调度系统中,主节点Pod的选取、Rank相关环境变量的预设...

配置自定义软件

服务 配置文件 YARN core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpsfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh Hive hive-env.sh hive-site.xml ...

CVE-2024-21626修复方案

wget-qr"https://aliacs-k8s-${REGION}.oss-${REGION}-internal.aliyuncs.com/public/pkg/edge/runc-edge-cve-internal.sh" -O /tmp/runc-cve.sh&& bash /tmp/runc-cve.sh 预期输出 预期输出如下,表明当前环境不存在CVE漏洞,系统未执行任何...

卸载客户端

操作系统 卸载命令或脚本 Linux 阿里云ECS服务器,请在服务器上以root权限执行以下命令:wget"http://update2.aegis.aliyun.com/download/uninstall.sh" && chmod +x uninstall.sh&& ./uninstall.sh 非阿里云服务器,请在服务器上以root权限执行...

如何确认增加或删除Shard节点的进度

您可以通过如下两种方法获取Balancer的运行结果和待迁移分片表Chunk信息:方法一:通过 sh.status()命令的输出结果获取 sh.status()命令的输出结果仅需要关注两部分信息,第一部分为最近时间Balancer运行的结果,示例如下。balancer:...

漏洞公告|Apache Log4j2远程代码执行漏洞

NOTICE:YOU CAN RESTORE THIS PATCH BY RUN RESTORE SCRIPT ABOVE$>sh./restore.sh 20211213001755#DONE 如果您需要将上述修复过程进行回滚,可以执行以下命令。restore.sh 20211213001755 说明 对于已经在运行的YARN作业(Application,...

升级ack-fluid组件

n default sh.helm.release.v1.demo-dataset.v1"to clean it secret"default/sh.helm.release.v1.thin-demo.v1"is possibly not cleaned up.Use"kubectl delete secret-n default sh.helm.release.v1.thin-demo.v1"to clean it 可以根据...

如何使用DataV-WS服务

chmod 777*sh exec.sh start 说明 您可以通过 sh exec.sh stop 命令,停止服务。您可以通过 sh exec.sh restart 命令,重启服务。在DataV-WS服务开启后,可完成WebSocket服务、模型服务和静态资源服务的开发和演示等功能操作,详情请参见 ...

Data Engineering的创建与使用

进入节点cdp-ds-1-1的集群初始化脚本cdp-cde-util.sh所在目录,执行命令:./cdp-cde-utils.sh init-virtual-cluster-h<域名>-a,命令中的域名需要替换为上一步获取到的域名,比如,针对上一步骤获取到的域名,初始化命令如下:./cdp-cde-...

迁移数据上云

sh bin/kafka-mirror-maker.sh-consumer.config config/consumer.properties-producer.config config/producer.properties-whitelist topicName 公网接入 下载 kafka.client.truststore.jks。配置 kafka_client_jaas.conf。KafkaClient { ...

部署SAG vCPE镜像

命令示例如下:/root/sag_vcpe_v2.3.0_deployment.sh-n 序列号-k 密钥-t 平台-w WAN口网卡名称 交互式 当您在命令行只输入命令/root/sag_vcpe_v2.3.0_deployment.sh 而不指定参数时,系统默认您使用交互方式执行命令,命令执行过程中需要您...

使用PyJindo访问阿里云OSS-HDFS

目录文件为[*-sh.cn-*.oss-dls.aliyuncs.com/.sysinfo/': type=Directory>,*-sh.cn-*.oss-dls.aliyuncs.com/apps/': type=Directory>,*-sh.cn-*.oss-dls.aliyuncs.com/flume/': type=Directory>,*-sh.cn-*.oss-dls.aliyuncs....

分布式部署

在Linux终端执行 bash console.sh submit[job_cfg_file],提交配置文件为job_cfg_file 的任务,job_cfg_file 为可选参数,不指定时默认为$OSS_IMPORT_HOME/conf/job.cfg,$OSS_IMPORT_HOME 默认为 console.sh 所在的目录。启动服务。Linux...

TPC-DS性能测试

queries_100|_queries_1000|_queries_10000|_queries_100000|_querygen.sh|_results|_run_stream.sh|_run_stream.sh.offline|_sqls|_start_session_only.sh|_start_session.sql|_start_session.sql_tmp|_tools_file|_tt.sh|_v2.10.1rc3 ...

库表数太多导致实例卡顿或异常

当您的MongoDB实例中存在过多的库表时,可能会遇到数据库性能退化以及其他问题。...use<dbName>sh.enableSharding("<dbName>")sh.addTagRange("<dbName>.test",{"_id":MinKey},{"_id":MaxKey},"shard_tag1")sh.addTagRange("<dbName>.test...

ALIYUN:ECS:Instance

ALIYUN:ECS:Instance类型用于创建ECS实例。语法 {"Type":"ALIYUN:ECS:Instance","Properties":{"DedicatedHostId":String,"Period":Number,"AutoRenew":String,"RamRoleName":String,"IoOptimized":String,"InternetChargeType":String,...

Go SDK使用示例

最终示例程序的目录结构如下:go-sdk-demo├─chaincode/├─main.go├─play.sh├─README.md└─vendor/play.sh:入口脚本,提供了交互式的命令行接口,首次运行示例程序推荐使用该脚本。main.go:基于 fabric-sdk-go 的一个示例程序。...

sample-txc-springboot 样例

运行 txc-yun-sample/sample-txc-springcloud 目录下的 sh build.sh 脚本,编译工程。编译后会在相应文件中生产 client 目录。在 sample-txc-springboot/client/bin 目录下运行 sh pay_run.sh,启动样例。结果验证 使用浏览器访问地址 ...

利用pssh批量安装云监控插件

本文为您介绍如何利用pssh批量安装云监控插件。pssh介绍 pssh 是一个python写的批量执行工具,非常适合30台服务器以内的一些重复性的操作。例如安装一个软件,kill 一个...A-i"/usr/local/cloudmonitor/wrapper/bin/cloudmonitor.sh status

TPC-DS性能测试说明

sh run_tpcds.sh gen_data 如果 gen_data 目录已生成,并需要重新导入测试数据,可执行以下命令进行刷新操作。sh run_tpcds.sh reload 步骤三:查看测试结果 查询命令执行完毕后将直接输出测试结果。成功执行针对tpcds3数据库的SQL查询测试...

Kubeflow MLPipeline示例

sh run_tensorboard.sh 选择 tb,会显示当前实验的ckpt的Tensorboard信息,或者执行 sh run_tensorboard.sh 20211209 命令,查看20211209训练ckpt的Tensorboard信息。说明 默认使用config里TODAY_MODELDIR的modeldir。您也可以指定日期的...

基于RDMA增强型实例部署HPC应用

以将下载的 l_HPCKit_p_2021.4.0.3347_offline.sh 安装至/home/c7reclusterUser/oneAPIDIR 目录为例,示例命令如下:sh./l_HPCKit_p_2021.4.0.3347_offline.sh-a-silent-eula accept-components intel.oneapi.lin.mpi.devel-install-dir/...

通过命令行提交作业

vim jobscript.sh jobscript.sh的内容示例如下,更多关于SGE命令行的信息,请参见 SGE官网。bin/bash#$-cwd#指定执行路径为当前路径#$-N test1#设置作业名称#$-q all.q#指定队列#$-pe smp 2#指定运行作业所需的vCPU数#$-l vf=1g#指定运行...

sample-txc-mq 样例

编译完成后,在 sample-txc-mq/client/bin 目录下执行 run.sh,启动样例。查看 MQ 的 Provider 的运行结果。将 sample-mq-consumer 样例工程上传到 ECS。在 sample-mq-consumer/src/main/java/com/taobao/txc/tests 路径下打开 SMSListener...

求解器SDK下载和安装

mindopt-install-osx64x86-0.25.1.sh 同意协议并下载 文件:mindopt-install-osx64x86-1.2.0.sh 同意协议并下载 osx64aarch(Apple Silicon)文件:mindopt-install-osx64aarch-0.25.1.sh 同意协议并下载 文件:mindopt-install-osx64aarch...
共有41条 < 1 2 3 4 ... 41 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
阿里邮箱 数字证书管理服务(原SSL证书) 弹性公网IP 商标服务 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用