OpenLDAP

OpenLDAP是一种开源软件,您可以使用OpenLDAP提供的命令行工具ldapadd、ldapdelete、ldapmodify等来管理用户,使用ldif文件进行用户管理。这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。

迁移场景

开源软件开源软件指开发者从开源社区下载未源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息,请...

应用市场

概述 应用市场的软件应用包括应用目录,应用目录中的软件是容器服务ACK基于开源软件做了适配和二次开发,其中包含了运行一个应用所需要的镜像、依赖和资源定义等。应用目录中有简介、安装步骤、参数配置项、注意事项等信息。您可以通过Helm...

迁移概述

本文介绍如何将基于x86平台的应用迁移到基于阿里云倚天实例的服务器上使用。迁移背景 倚天云服务介绍 云服务...开源软件:指开发者从开源社区下载未源码修改的软件或者所使用操作系统生态中默认携带的软件。更多信息,请参见 开源软件迁移。

开源软件迁移

当前大部分应用系统都基于开源软件构建,并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...

Sqoop概述

Sqoop是一款Apache社区的开源软件,支持在Hadoop生态软件和结构化数据集(例如数据库)之间进行高效的批量数据传输。背景信息 常见数据传输场景如下:将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...

Hive统一元数据

使用统一的元数据库,如果您的所有数据都存放在OSS之上,则不需要做任何元数据的迁移和重建,所有集群都是可以直接访问数据,这样每个EMR集群可以做不同的业务,但是可以很方便地实现数据的共享。创建使用统一元数据的集群 支持以下两种...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

SmartData常见问题

可以使用JindoFS缓存模式,通过预加载将OSS数据提前写入内存或者SSD缓存,然后训练引擎可以通过JindoFuse支持直接读取。基于MaxCompute数仓上的数据,JindoFS如何帮助机器学习训练?有如下两种方式:MaxCompute数仓作业将数据通过...

产品简介

EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统(例如,阿里云OSS和RDS等)进行数据传输。产品介绍 阿里云EMR...

StarRocks概述

说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库,以及分布式系统的设计思想,其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...

什么是EMR Serverless StarRocks

EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务,您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎,提供了极致的性能和丰富的OLAP场景模型,...

JindoFS介绍和使用

JindoFS是基于阿里云对象存储OSS,为开源大数据生态构建的Hadoop兼容文件系统(Hadoop Compatible File System,HCFS)。JindoFS提供兼容对象存储的纯客户端模式(SDK)和缓存模式(Cache),以支持与优化Hadoop和Spark生态大数据计算对OSS...

通过OSS SDK接入开源生态

开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...

产品架构

从上图可以看出EMR由四部分组成:社区开源产品 集成Apache社区开源大数据组件,例如Hadoop、Hive和HBase,随着EMR版本更新,开源软件也会相应的升级,详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...

什么是图计算服务

Graph Compute 与其他开源图计算相比的优势 问题一:查询性能为什么能比开源好很多 图计算服务内核引擎iGraph在分区并发查询的基础上,通过自研的协程异步框架并发召回,将同步串行磁盘访问改造为异步并行,极大的提高了查询性能;...

相关的云服务

本文为您介绍典型场景下,使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS(Elastic Compute Service)作为集群的节点,每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...

什么是EMR on ACK

可以开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式,以...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 SparkThriftServer 操作列的>enableLDAP。...

E-MapReduce支持倚天云服务器

丰富的生态:倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构:基于2*50 GB网络架构提供大带宽以及超强转发能力,对比上一代CIPU架构,网络带宽提升1倍。安全增强:支持vTPM特性,依托TPM/TCM芯片,实现从服务器到...

EMR on ACK商业化公告

可以开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后,将根据集群...

实例类型

当您需要查看集群上服务的运行情况时,您可以通过软件的Web UI来查看。当您需要快速测试或者运行作业时,您可以登录主实例节点,然后通过命令行直接提交作业。登录主节点的具体步骤请参见 登录集群。核心实例节点(Core)核心实例节点是被...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 TrinoMaster 操作列的>enableLDAP。在弹出...

Spark对接Kafka

背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件,相关编程使用方法可参见官方相应文档。Spark官方文档:streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo:github地址。访问...

Lindorm for Cassandra应用实践

可调一致性(无需repair数据)服务模式 自建 集群托管或者Serverless可选 可靠性 无SLA保障,开源软件BUG需要自行修复。SLA保障,并具备主备双活、备份、异地容灾等能力。冷热分离 不支持 透明冷热分离降低成本 全文检索 不支持 兼容CQL...

EMR Studio概述

便捷集成 EMR Studio采用半托管的部署形态,您可以直接登录集群灵活操作和部署软件可以将EMR Studio集成至已有系统。EMR Studio作为一款云上产品,支持与数据湖构建(DLF)和对象存储(OSS)等云上产品对接,构建云原生大数据产品架构。...

Hadoop集群迁移至DataLake集群

(可选)软件自定义配置 如果您导出了旧平台集群中的服务配置,或计划在创建集群流程中预置配置,则可以在新平台集群创建流程中开启软件自定义配置,并将编辑好的配置粘贴输入框中,详细使用方法请参见 配置自定义软件。硬件配置 在 查看...

什么是EMR on ECS

可以快速搭建开源大数据服务,例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件,适配并优化开源组件,性能远高于开源版本。基于时间的弹性伸缩能力,抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系,...

什么是EMR Serverless Milvus

开源兼容性 100%兼容开源Milvus全托管服务,提供与原生软件交互性一致的产品使用体验,并默认提供开源可视化工具Attu。高安全性 基于阿里云专有网络(VPC)部署,提供专有网络访问,同时提供更细力度访问控制及更高安全等级保护。实例可...

产品优势

可以快速搭建开源大数据服务,例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件,随开源版本升级迭代,详情请参见 版本概述。适配开源组件,避免开源组件之间的版本兼容性问题。基于开源组件,优化...

迁移方案

重要 对于DataStream作业来说,开源Flink和VVR的state是完全兼容的,但是对于SQL作业来说,VVR相比社区Flink,了大量的优化工作,不能保证state完全兼容。对于state不能兼容的作业,无法从开源Flink生成的Checkpoint中恢复。对于这部分...

EMR-3.28.x版本说明

更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform,基于开源Flink 1.10深度定制,提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...

访问链接与端口

通过访问链接与端口功能,您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接,以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群,详情请参见 创建集群。背景信息 ...

创建EMR Studio集群

高级设置 软件自定义配置:可指定JSON文件对集群中的基础软件(例如Hadoop、Spark和Hive等)进行配置,详细使用方法请参见 软件配置。默认不开启。硬件配置。区域 配置项 描述 付费类型 付费类型 默认包年包月。当前支持的付费类型如下:...

EMR Workflow商业化公告

EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行...

Trino概述

Trino(即原PrestoSQL)是一个开源的分布式SQL查询引擎,适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino,之前各版本控制台显示为Presto,内核其实是Trino,使用时请注意区分。基本特性 Trino使用Java语言...

Superset(仅对存量用户开放)

可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板,并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-MapReduce Druid了深度集成,...

Presto概述

与EMR软件栈完美结合,支持DLF和OSS或OSS-HDFS。无需运维,EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog:一个Catalog可以包含多个Schema,物理上指向...

EMR旧版数据开发迁移公告

EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。EMR ...

Iceberg概述

可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...
共有175条 < 1 2 3 4 ... 175 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 微服务引擎 检索分析服务 Elasticsearch版 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用