登录集群
此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或SSH密码方式）登录集群。前提条件 已在EMR on ECS创建集群，详情请参见 创建集群。确保本地...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
导入数据模型
Swagger 模型：Swagger 是一个规范和完整的框架，用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。ProtoBuf 模型：ProtoBuf 是一个开源的结构化信息传递工具，用于数据存储、传输协议格式等场景。导入方式：URL：输入swagger配置的...
为MSE实例开启WAF防护
如果您的Web业务启用了阿里云微服务引擎（Microservices Engine，简称MSE）服务，您可以为MSE实例开启 Web应用防火墙（Web Application Firewall，简称WAF）防护，将Web业务流量引流到WAF 3.0进行安全防护。本文介绍如何为MSE实例开启WAF...
概述
Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接到许多存储系统。背景信息 在大数据生态系统中，Alluxio位于数据驱动...
基础术语
Fat JAR Fat JAR Fat JAR 是一种可执行的 JAR 包（Executable JAR），包含编译后的类及代码运行所需依赖 jar 的存档，可以使用 java-jar 命令运行该应用程序。Fat JAR 和普通的 JAR 不同在于它包含了依赖的 JAR 包。Gradle Gradle ...
功能发布记录
告警设置 2018-07-27 OpenAPI发布 Web应用防火墙针对常见控制台配置操作开放对应API接口，方便用户执行批量化操作。API概览 2018-05-29 推出业务数据大屏试用服务 Web应用防火墙推出业务数据大屏试用，方便用户及时了解网站业务全貌。大屏...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
开源自建对比
Serverless 应用引擎 SAE（Serverless App Engine）是面向应用的Serverless PaaS平台，提供成本更优、效率更高的一站式应用托管方案，容器新手也可以体验Serverless、K8s和微服务。您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建...
横屏样式
本文介绍Web端集成AUI Kits互动直播场景横屏样式组件的操作方式、注意事项及相关代码示例等内容。前提条件 AppServer 您已经搭建AppServer并获取了访问域名，搭建步骤请参见 服务端集成。推流端 目前Web端直播间仅为观众端，暂未支持推流，...
开源支持
ODPS JDBC是MaxCompute官方提供的JDBC驱动，它向Java程序提供了一套执行SQL任务的接口。项目托管在GitHub ODPS JDBC。服务支持方式：在GitHub ODPS JDBC 中留言或新建Issue。Mars Mars是一个基于张量的统一分布式计算框架。使用Mars进行...
应用开发概述
Dubbo概述 使用Spring Boot开发Dubbo微服务应用 使用Cloud Toolkit开发Dubbo微服务应用样例工程 将Dubbo应用平滑迁移到EDAS 用户文档（开源）开发者指南（开源）源码导读（开源）HSF HSF连通不同的业务系统，解耦系统间的实现依赖。...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
开源版和商业版介绍
各个版本对中间件的支持以及更加详细的对比如下：能力/中间件 SOFABoot 开源版 SOFABoot 商业版 框架相关能力 Spring XML 相关支持 有一套独立的 XSD 头。无法直接引入开源的 XML，需要换头。模块化开发 支持新的模块格式，不兼容 Sofa3 和...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
SDK列表及示例代码
云消息队列 RabbitMQ 版 支持的多语言或框架SDK如 云消息队列 RabbitMQ 版支持的多语言或框架SDK 所示。表 2.云消息队列 RabbitMQ 版 支持的多语言或框架SDK 语言或框架 SDK C++ amqp-cpp-demo....
设置Bot管理白名单
背景信息 Bot管理为接入Web应用防火墙的域名提供从Web、应用到API接口的全面的恶意爬虫防护检测，具体包括以下检测模块：合法爬虫 爬虫威胁情报 数据风控 App防护 智能算法 如果上述模块（除合法爬虫以外）开启后对正常网站请求造成误拦截...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
合作伙伴及开源生态
（数据统计截止时间为 2021 月 7 月 22 日）SOFAStack 目前涵盖的开源项目有：主要项目：基于 Spring Boot 的研发框架 SOFABoot、生产级 Java RPC 框架 SOFARPC、分布式链路跟踪系统 SOFATracer、高可用服务注册中心 SOFARegistry。...
API概览
本产品（Web 应用防火墙/2021-10-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
使用OpenAPI
本文为您介绍 Web 应用防火墙 WAF（Web Application Firewall）OpenAPI的基本信息。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 版本号 说明 2021-10-01 推荐使用 接入点说明 具体的服务接入点，请参见 服务接入点。用户身份...
网站防护最佳实践
防护规则组：基于内置的防护规则集进行删减，选择最适合您业务系统形态、框架、中间件等实际情况的防护规则集合，使用这些规则自定义Web攻击防护的防护规则组，并将其应用到网站。建议您使用防护规则组设置针对网站整体的Web入侵防御策略。...
Web应用集成SDK
异步接口响应组件 异步接口响应组件使Web应用程序能在API接口上响应antibot攻防体系下发给客户端的挑战（目前包括JS校验和Captcha挑战）。采用此组件后，如果WAF给某一API接口下发挑战response，异步接口响应组件探测到该挑战response后，...
WAF接入配置
1 概述 API网关的核心是为API提供认证、防篡改、防重放、参数验证、全链路签名、限流等诸多安全功能，因此针对恶意攻击者精心构造的攻击请求，进行应用层攻击（如OWASP TOP10常见Web攻击等）、暴力破解等情况，您可以考虑接入云盾Web应用...
StarRocks概述
本文为您介绍什么是StarRocks，以及StarRocks的特性和应用场景。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
Tez
Tez是Apache构建在Hadoop之上的支持分布式DAG（Directed Acyclic Graph）的计算框架，支持通过复杂的DAG描述并处理大数据任务。背景信息 Tez主要使用在Apache Hive中，作为Hive的一种运行时引擎，可以优化Hive SQL的查询引擎。与Hive On MR...
开源软件迁移
PyTorch PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。在倚天云服务器上，建议您使用以下两种方式使用PyTorch。使用官方版本构建PyTorch的Docker镜像。更多信息，请参见 PyTorch for AArch64。构建时，...
Ranger概述
Apache Ranger提供集中式的权限管理框架，可以对Hadoop生态中的HDFS、Hive和YARN等组件进行细粒度的权限访问控制，并且提供了Web UI方便管理员操作。Ranger组件介绍 Ranger主要由三个组件组成：Ranger Admin 您可以创建和更新安全访问策略...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
EMR-3.24.x版本说明
TensorFlow on spark 支持TensorFlow框架置于Spark之上，使得Spark与深度学习框架深度结合，包括了任务调度和数据交换优化方案等，为您提供从数据预处理到深度学习训练任务的一整套流程。支持Streaming类型任务。更新内容 服务 变更点 ...
Presto概述
监控接口完善：提供友好的Web UI，可视化的呈现查询任务执行过程。支持JMX协议。系统组成 Presto的系统组成如下图所示。Presto是典型的M/S架构的系统，由一个Coordinator节点和多个Worker节点组成。Coordinator负责如下工作：接收用户查询...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
Livy
Livy支持提交Spark作业或者Spark代码片段，同步或者异步的进行结果检索以及Spark Context上下文管理，Livy简化了Spark和应用程序服务器之间的交互，从而使Spark能够用于交互式Web或移动应用程序。背景信息 Livy还支持如下功能：长时间运行...
授权信息
API：是指操作对应的API接口。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源...
授权信息
API：是指操作对应的API接口。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源...
功能特性
为MSE实例开启WAF防护 FC接入 如果您将为或者已为阿里云函数计算（Function Compute，简称FC）上的Web应用绑定自定义域名，并通过自定义域名访问该应用时，您可以在函数计算控制台，为该自定义域名开启Web应用防火墙（Web Application ...
API概览
本产品（Web 应用防火墙/2019-09-10）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
- 产品推荐
- 这些文档可能帮助您