配置OSS/OSS-HDFS Credential Provider
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
配置OSS/OSS-HDFS Credential Provider
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
发布后端已有服务
发布服务就是将一个已有的后端服务在某个CSB实例上注册，并以选定的一种或多种协议开放成API供消费者使用，同时对服务的消费做一定的访问控制。前提条件 在体验发布服务前，您需要完成以下操作：创建实例 新建服务组 了解服务发布的约束...
创建数据集服务
计算巢服务为服务商提供了一个简便的服务创建、发布和管理的平台。计算巢服务的管理动作包含创建服务、测试服务、发布服务等，从而形成了服务的完整生命周期。数据交付服务时服务商将自己的数据公开或者私下交付给用户的服务。本文介绍服务...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体时，Hadoop集群所使用的VPC和MaxCompute服务开通地域保持一致，这样可以免去跨地域网络产生的费用。当您通过MaxCompute与Hadoop构建湖仓一体时，Hadoop集群环境需开启高可用（HA）。具体详情，请咨询...
如何使用JWT Token调用服务
CSB开发平台支持创建JWT类型的凭证，API消费方可直接使用JWT Token调用订阅的服务。背景信息 CSB目前支持SDK调用服务和JWT Token调用服务，如果您想要了解SDK调用服务，请参见 调用服务。准备工作 在调用服务前，请确保您已经完成以下工作...
EMR-3.38.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark 2.4.8 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData EMR-3.38.0版本：3.7.2 EMR-3.38.1版本：3.7.3 EMR-3.38.2版本：3.8.0 Bigboot Iceberg 0.12...
CDP集群高安全Kerberos+Ranger使用
hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 1[root@cdp-utility-1 30-hdfs-JOURNALNODE]#hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar ...
服务市场概述
本文介绍计算巢服务控制台服务市场的相关信息。服务市场页面中，服务分为 服务市场 和 共享服务 两种。服务市场 页签中，展示的是已经发布上线并将服务上到了服务市场的服务；共享服务 页签中，展示的是服务商将您添加到服务白名单中的服务...
创建ASM实例
在使用 服务网格 ASM之前，您需要创建一个ASM实例，对应用服务进行流量管理、安全管理、故障恢复、观测监控等。本文介绍如何通过ASM控制台创建ASM实例。前提条件 已开通以下服务。服务网格 ASM 弹性伸缩（ESS）服务 访问控制（RAM）服务 已...
快速入门
创建关联服务的部署物 创建部署物 应用分组配置 配置应用分组 自定义服务架构图 自定义服务架构图 升级服务版本 服务升级配置 更新服务 更新服务 自定义服务实例的运维操作 自定义运维操作说明 配置全托管服务参数映射 配置参数映射 查看...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
云原生网关入门体验
您可以为微服务创建一个云原生网关，通过从MSE Nacos添加服务或者从容器服务ACK关联服务，然后在网关中为服务创建路由策略，以便该服务通过网关对外提供服务。本文帮助您快速体验云原生网关。体验流程 微服务如果部署到容器服务ACK或注册到...
基于计算巢SaaS Boost快速搭建商品的售卖系统
在提交后，会生成一个商品码，记录此商品码，后续在计算巢服务侧使用服务定价功能时需要依赖此商品码进行计算巢服务与SaaS Boost商品的绑定。步骤四：对待售卖服务进行定价 进入创建三方支付商品弹窗。您可以选择如下任意一种方式进入创建...
服务管控和治理
服务治理 服务治理包含服务限流、服务路由、服务鉴权、服务熔断、故障注入、故障隔离、透明劫持、服务拓扑和实时监控相关服务治理。服务限流 在高并发场景下，为保证在现有资源条件下服务正常运行，您可以使用服务限流让请求和并发在应用可...
常见问题
本文介绍计算巢服务的常见问题及解决方案。通用FAQ 什么是计算巢？什么样的软件可以入驻计算巢？计算巢服务是否收费？计算巢是否支持非阿里云环境？计算巢的自动交付和ROS或Terraform有什么区别？私有部署服务、全托管服务和代运维服务有...
支持计划
配置指导以及故障排除 配置指导以及故障排除 配置指导以及故障排除 专属技术服务经理 不支持 不支持 专属技术服务经理（TAM）健康检查 可免费使用智能顾问Advisor 可免费使用智能顾问Advisor 可免费使用智能顾问Advisor。专属技术服务经理...
创建代运维服务
创建私有部署服务附加代运维服务 服务商创建的服务是私有部署服务附加代运维服务时，用户在创建该私有部署服务的服务实例时，需要同时授权服务商对该服务实例创建的资源进行代运维。具体操作请参见 创建私有部署服务，并在 运维 区域的运维...
历史功能发布记录（2023年及之前）
2023-7-31 无 2023年6月 功能名称 功能概述 发布时间 相关文档 计算巢支持服务商自定义服务架构图 服务商完成服务创建后，可以根据需要前往服务详情页，自定义服务的架构图，自定义完成后，用户在创建服务实例时，可在新建服务实例页的右上...
计算巢服务支持审计的API列表
计算巢服务已与操作审计服务集成，您可以在操作审计中查询用户操作计算巢产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
试用功能说明
服务创建完成并上线后，服务使用者可以在控制台的 推荐服务 或 我的服务 找到带有可试用标签的服务，并试用该服务。在创建试用服务过程中，所需的云资源均创建在阿里云系统账号下，不会收取使用者或服务创建者的费用。创建支持试用的私有...
新功能发布记录
2020/08/04 支持基于Swagger API发布服务 使用场景：对满足OpenAPI 2.0规范的Swagger API，CSB提供快速创建服务的能力。功能描述：支持基于Swagger API发布服务。支持直接通过URL和CSB SDK方式调用和访问。相关文档：导入Swagger API 2020/...
多集群服务概述
多集群服务场景 服务多集群访问 通过创建ServiceExport和ServiceImport资源，指定了服务提供者ACK Cluster 1和服务消费者ACK Cluster 2，服务消费者ACK Cluster 2的Client Pod可以访问服务提供者所公开的服务，服务访问通过域名解析，流量...
API概览
本产品（计算巢-服务商侧/2021-05-21）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
Ambari与文件引擎集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提...
概述
本文介绍如何基于安全增强型实例（Intel ® SGX）部署TensorFlow Serving在线推理服务的技术架构和使用流程。背景信息 TensorFlow Serving是Google开源的机器学习平台TensorFlow生态的一部分，它的功能是将训练好的模型运行起来，提供接口...
使用E-Mapreduce访问
hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...
什么是EMR on ECS
您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
使用场景 大数据性能评估 当您希望评估使用OSS-HDFS服务作为Hadoop数据存储时的大数据处理性能，特别是对于大规模数据分析和查询优化工作负载，TPC-DS可以作为标准的决策支持系统基准测试工具。数据湖架构验证 如果您正在构建或已经拥有...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
常见问题
本文汇总了Alluxio使用时的常见问题。错误提示：No FileSystem for scheme:alluxio 如何排查Alluxio服务状态异常的问题？如何对OSS进行缓存加速？如何配置Alluxio参数？错误提示：No FileSystem for scheme:alluxio 如果您是在创建E-...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
JindoFSx P2P分布式下载配置指南
步骤一：配置服务端 步骤二：配置JindoSDK 步骤三：使用方法 步骤一：配置服务端 进入JindoData服务的 common 页签。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，单击目标集群操作列的 集群...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
非EMR集群接入OSS-HDFS服务快速入门
OSS-HDFS服务（JindoFS服务）完全兼容HDFS接口，同时支持目录层级的操作。JindoSDK为Apache Hadoop的计算分析应用（例如MapReduce、Hive、Spark、Flink等）提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK，然后完成...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署...
从HDFS迁移数据到OSS/OSS-HDFS
在 Hadoop-Common 服务的 core-site.xml 页签，新增以下配置项，以避免使用时多次填写的问题。新增配置项的具体操作，请参见 管理配置项。参数 说明 fs.oss.accessKeyId OSS/OSS-HDFS的AccessKey ID。fs.oss.accessKeySecret OSS/OSS-HDFS...
- 产品推荐
- 这些文档可能帮助您