FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
EMR-3.27.x版本说明
发布日期 版本 日期 EMR-3.27.0 2020年4月29日 EMR-3.27.1 2020年5月8日 EMR-3.27.2 2020年5月20日 新功能 功能 变更点 组件自定义部署 支持对Master节点上的组件进行自定义部署，目前支持以下组件：Hadoop Spark Hive Zookeeper Presto ...
SmartData 3.7.x版本简介
特性 描述 支持访问Amazon S3文件系统 JindoFS客户端支持了Amazon S3文件系统，可以用来访问Amazon S3上的数据。支持OSS PrefixLink特性 JindoFS客户端支持了OSS PrefixLink特性，通过提升Rename性能，能够有效加速Hive作业，特别对于Hive ...
JindoFS FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
HDFS的部署拓扑
core-1-1或emr-worker-x DataNode 管理和存放HDFS数据块，节点上的数据盘。高可用集群 节点 组件 描述 master-1-1（部分版本为emr-header-1）ZKFailoverController（ZKFC）独立的进程运行，根据NameNode的状态进行主备选举和切换。NameNode...
访问模式
访问E-MapReduce（简称EMR）上的ClickHouse集群支持通过原生JDBC访问和通过负载均衡SLB访问两种方式。本文为您介绍如何通过这两种方式访问ClickHouse集群。背景信息 通过原生JDBC访问ClickHouse集群的架构图如下。通过负载均衡器SLB访问...
安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
Hive作业配置
f ossref:/path/to/uservisits_aggre_hdfs.hive 说明 path 为 uservisits_aggre_hdfs.hive 在OSS上的路径。您也可以单击下方的+插入OSS路径，从OSS中进行浏览和选择，系统会自动补齐OSS上Hive脚本的路径。请务必将Hive脚本的前缀修改为 ...
Hive开发手册
f ossref:/${bucket}/yourpath/hiveSample1.sql 其中${bucket} 是您的OSS Bucket，yourpath 是Bucket上的路径，需要您填写实际保存Hive脚本的位置。运行作业 单击 运行 以运行作业。您可以关联一个已有的集群，也可以自动按需创建一个，...
Hive访问EMR Phoenix数据
本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群（Custom），详情请参见 创建集群。说明 因为当前EMR-4.x和EMR-5.x系列版本未支持Phoenix服务，...
扩容集群
操作步骤 重要 集群扩容操作不会重启存量节点上的应用进程。进入节点管理页面。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击目标集群操作列的 节点管理。在 节点管理 页面，单击目标节点组操作列的 扩容...
远程调试
远程调试 1.整体介绍 远程调试仅支持云端托管类型的应用。配置完版本后，可以对该编辑的版本进行 远程调试，在开启调试前完成应用配置、模型与权限配置。开启远程调试后，该调试应用7天后会自动销毁，自研节点和初始化节点可随时进行镜像的...
为Spark集群关联RSS
本文为您介绍EMR on ACK上的Spark集群如何关联RSS。背景信息 目前在ACK的场景下，Spark Shuffle面临的问题：Spark Shuffle对本地存储有依赖，许多计算存储分离的机型、使用ECI的场景下没有自带本地盘，需要额外购买和挂载云盘，性价比和...
技术支持的范围和方式
不负责基于EMR组件之上的客户业务应用开发问题答疑和处理，例如，业务实现、代码开发、作业性能调优和业务迁移等。在集群组件无明显异常或明确产品缺陷的情况下，不负责单个作业的问题排查。不负责非产品标准能力的支持，例如，集群或组件...
HDFS概述
DataNode负责管理存储在该节点上的文件。每一个上传到HDFS的文件都会被划分为一个或多个数据块，这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上，位置信息交由NameNode统一管理。基本概念 名称 描述 NameNode 用于管理文件...
统一命名空间缓存加速
jindo admin-mount/nas local:/mnt/nas 其中/mnt/nas 为阿里云文件存储NAS在物理机上的挂载点路径，需要加上 local:/前缀。执行以下命令访问 jindo:/emr-header-1:8101/nas/。hdfs dfs-ls jindo:/emr-header-1:8101/nas 返回信息为 jindo:/...
EMR-3.28.x版本说明
完善Cache模式中JFS Scheme在Hive引擎和Jindo JobCommitter上的集成。Block模式读路径上，设置比重可以直接读OSS，用来缓解和分摊读本地缓存的开销。JindoFS软件模块解耦，分为Bigboot（管控层）、Smartdata（分布式服务）和JindoFS SDK。...
注册中心路由
mesh Mesh 模式，使用蚂蚁 MOSN gateway 网关模式，使用网关服务发现 local 本地模式，本地调试使用 multicast 广播模式 配置方式 为全局服务指定默认注册中心 您可以在 application.properties 或启动参数中增加如下参数，为全局服务指定...
开源版和商业版介绍
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
ListInstanceTypes-获取实例类型列表
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 RegionId string 是 地域 ID。cn-hangzhou ClusterId string 否 集群 ID。c-b933c5aac8fe*ZoneId ...
跨域互信
本文配置的跨域互信是单向的，即Cluster-B无法跨域访问Cluster-A上的服务，如果需要实现双向跨域互信，按照同样的方法交换配置即可。步骤一：工作准备 步骤二：添加跨域认证Principal 步骤三：配置Cluster-A的krb5.conf 步骤四：访问...
2D推流数字人接入指南
同时OpenAPI提供了在线调试页面，可以直接面代码调试API：OpenAPI在线调试。reqConfig中的URL和token对应直播平台的地址和密钥，如果某些直播平台只提供一个完整的推流URL，可以只传入URL，token不传。调用成功之后可以去对应的直播后台...
管理自定义组件
在调试组件的对话框中,选择要调试的 调试范围、工作空间 和对应的仪表板,单击 前往调试,会跳转到对应的仪表板页面，具体请参见 调试组件。显隐组件 显隐状态描述自定义组件是否能够在仪表板中新建，共有两种：隐藏：新增的组件不能在仪表板...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
PL 编译和调试
是对 SQL 的扩展，在普通 SQL 语句的基础上增加了编程语言的特点，将数据操作和查询语句组织在 PL 代码的过程化代码中，通过逻辑判断、循环等操作实现复杂的功能。使用 PL 可以编写具有高级功能的程序，能够将业务逻辑封装在数据库内部，...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
SDK FAQ
开源客户端是否可以直接访问云上服务？云消息队列 RabbitMQ 版 完全兼容开源RabbitMQ。开源RabbitMQ可以直接访问云上服务。您需要通过 云消息队列 RabbitMQ 版 控制台生成静态用户名密码之后，通过静态账户直接访问云上服务。如何创建静态...
通过云控制API实现资源管理
云控制API的出现可以有效的解决这个问题，客户可以通过云控制API访问云上所有的产品和资源类型，而无需熟悉底层云产品的API，免去开发者学习上百个产品、上万个OpenAPI的差异化成本；让开发者无需维护多套SDK、学习多个产品的OpenAPI。在极...
文本内容安全
能力 体验中心 文字垃圾内容识别 免费调试入口 文字广告内容识别 免费调试入口 文字敏感内容识别 免费调试入口 文字暴恐内容识别 免费调试入口 文字辱骂内容识别 免费调试入口 文字鉴黄内容识别 免费调试入口 文字灌水内容识别 免费调试...
解绑标签
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 UntagResources 系统规定参数。对于您自行拼凑...
运行指定操作
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 RunClusterServiceAction 系统规定参数。对于...
Workflow新功能发布记录
您可以在OpenAPI门户网站选择 EMR Workflow 产品进行API调试。EMR Workbench_API调试 2024年1月 功能名称 功能概述 相关文档 审计日志 支持根据审计日志定位对应操作的时间、操作人，降低数据安全溯源难度。管理审计日志 新购调度资源组 ...
EMR-3.24.x版本说明
Bigboot 升级至2.2.1，修复Native代码支持在部分机型上的问题。Ranger Spark plugin部署方式重构。修复HA集群header2没有获取keytab的bug。Kudu 修复启动逻辑。Zookeeper 增加四字命令配置，默认开启。HDFS 适配JindoFS。YARN 修改默认配置...
创建EMR Studio集群
本文为您介绍如何在E-MapReduce（简称EMR）控制台上创建EMR Studio集群。前提条件 已完成RAM授权，详细信息请参见 角色授权。说明 首次创建EMR Studio集群时会弹出授权该角色的窗口，请使用阿里云账号对系统角色...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
开源自建对比
基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE 内置K8s集群底座和微服务框架。运维成本 需要。需要。不需要。SAE 免运维。硬件成本 按峰值固定保有包年IaaS，...
Spark对接Kafka
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
快速使用EMR on ACK
kubectl apply-f spark-pi.yaml-namespace<集群对应的namespace>本文示例代码中的<集群对应的namespace>，需要替换为集群的命名空间，您可以登录E-MapReduce on ACK控制台，在 集群详情 页面查看。返回如下信息。sparkapplication....
- 产品推荐
- 这些文档可能帮助您