StarRocks概述
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
创建DataFlow Kafka集群
例如，EMR-3.43.1版本中的Kafka为2.12_2.4.1，其中2.12表示Scala的版本，2.4.1为开源Kafka的版本。服务高可用 开启 默认不开启。重要 启用高可用后，将在Master机器组上部署3个节点的Zookeeper服务。由于EMR Kafka版本的服务可用性仍依赖于...
软件概述
软件列表 名称 版本 简介 需要选中的依赖包 ABySS 2.1.5 基于短序列的基因组双端组装工具，多节点并行版本。Intel-MPI 2018 Anaconda 2018.12-py27 2018.12-py37 Python环境管理工具。无 BLAST 2.8.1 在生物信息数据库中进行相似性比较的...
快速使用EMR on ACK
准备工作 创建EMR on ACK集群前，需要在 容器服务管理控制台，进行以下操作：创建Kubernetes集群，详情请参见 创建Kubernetes专有版集群 或 创建Kubernetes托管版集群。添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见 授予...
使用OSS作为HBase的底层存储
从OSS恢复一个新的HBase集群，也是创建集群时在 软件配置 的 高级设置 区域，开启 软件自定义配置 参数，配置参数如下。[{"ServiceName":"HBASE","FileName":"hbase-site","ConfigKey":"hbase.rootdir","ConfigValue":"oss:/${bucket}.${...
开源自建对比
您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...
管理项目
项目管理员 选择项目管理员。默认为项目创建人。项目管理员可进行如下操作：进入项目空间内部进行相关信息的查看和编辑。可被赋予审批迭代推进过程中的流程节点的权限。项目测试人员 选择项目测试人员。项目测试人员可被赋予审批迭代推进...
运维中心
背景信息 本文为您介绍运维中心的相关操作，具体如下：查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已创建项目，具体请参见 项目管理。查看项目任务概览 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce...
开源项目
开源项目扩展了Kubernetes集群的功能。本文介绍阿里云容器服务Kubernetes版主要使用的开源项目。项目分类 项目名称 项目简介 项目地址 参考文档 核心组件 Kubernetes Cloud Controller Manager for Alibaba Cloud 为Kubernetes应用创建负载...
添加开源Elastic Search数据源
填写开源Elastic Search数据服务项目信息。参数 说明 名称 数据源的显示名称，可自定义命名。域名 连接数据源的地址。注意 该地址是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据源的域名或IP地址。用户名 登录数据源的...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
为RAM用户授权
AliyunEMRFlowAdmin E-MapReduce数据开发的管理员权限 创建项目、开发和管理作业权限（不包含添加项目成员和管理集群权限）。AliyunEMRDlsFullAccess E-MapReduce DLS管理员权限 EMR DLS的所有数据管理权限。E-MapReduce使用的角色如下。...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
使用资源组
资源组会对您拥有的云资源从用途、权限和归属等维度上进行分组，实现企业内部多用户、多项目的资源分级管理。一个云资源只能属于一个资源组，云资源之间的关联关系不会因加入资源组而发生变化。E-MapReduce目前支持资源组的云资源为集群和...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
释放集群
当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。本文为您介绍如何释放集群。前提条件 请确保待释放集群的状态是创建中、运行中或空闲中。操作步骤 登录 EMR on ACK。...
SQL Editor
您可以直接在控制台上编写、运行和管理SQL查询语句，无需下载或安装任何本地客户端软件，极大地方便了数据分析师和开发人员对数据进行实时查询与分析。前提条件 已创建StarRocks实例，详情请参见 创建实例。进入SQL Editor 进入EMR ...
导出和导入服务配置
阿里云E-MapReduce（简称EMR）提供的导出服务配置...在 软件配置 的 高级设置 区域，打开 软件自定义配置 开关。复制导出的JSON格式服务配置中的内容到配置框中。单击 下一步：硬件配置，继续创建集群。创建集群的具体操作，请参见 创建集群。
克隆集群
集群创建后，您在EMR控制台修改的服务配置目前不会克隆到新集群，但创建集群时自定义软件配置中配置的参数，则会克隆最新的修改值到新集群。创建集群后，您手动在集群机器上修改的文件或内容，例如JAR包等，无法克隆到新集群。注意事项 在...
EMR-3.29.x版本说明
Ranger 升级软件包至1.2.0-1.5.0。支持Presto 338。配置文件增加Description。HDFS 自适应配置datanode reserved空间大小。Knox 适配Impala、高版本Flink和PAI。Druid 升级至0.18.1版本。SmartData 升级至2.7.301版本。
HBase Thrift Server
背景信息 Thrift是一个可伸缩，跨语言服务RPC框架，集成了强大的软件堆栈及代码生成引擎，使得各种语言做到无障碍，高效通信，目前支持C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Go、Cocoa、JavaScript、Node.js和...
漏洞公告|Solr升级修复漏洞
数据湖（DataLake）、数据服务（DataServing）和自定义（Customer）场景集群 单击 solr-8.11.3.tgz，下载修复漏洞后的Solr软件包。将下载的Solr软件包上传到集群Master节点的/opt/apps/RANGER/目录下。scp solr-8.11.3.tgz master-1-1:/opt...
使用限制
您在使用E-MapReduce（简称EMR）过程中，某些非产品预期的操作可能会导致集群的不稳定甚至集群的不可用，为了避免这种问题，请您认真阅读...如果集群创建后手工安装第三方软件或服务，在扩容时，新扩容节点需重新手工安装第三方软件或服务。
EMR-3.33.x版本说明
本文介绍EMR-3.33.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.33.0 2021年1月15...EMRHook 新增软件服务。hive-hook：支持Hive元数据和作业运行信息输出至DataWorks。spark-hook：支持Spark元数据和作业运行信息输出至DataWorks。
安装第三方插件
EMR集群中Flume的软件安装目录为/opt/apps/FLUME/flume-current/lib。方式三：上传第三方的JAR包至$FLUME_HOME/plugins.d/目录下。相关的目录：$FLUME_HOME/plugins.d/lib：插件本身的JAR包。FLUME_HOME/plugins.d/libext：插件依赖的JAR包...
Python使用说明
EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您需要自行下载安装，步骤如下：下载Python 3软件包：Python-3.6.4.tgz。使用文件传输工具（SSH Secure File Transfer Client），上传JAR包至Master节点的/usr/local 目录。解压...
访问HBase
HBase配置 您可以在创建HBase集群的 软件配置 页面，利用 高级设置 的 软件自定义配置 功能，结合使用场景，修改HBase的默认参数，示例如下。{"configurations":[{"classification":"hbase-site","properties":{"hbase.hregion.memstore....
EMR Kafka配置说明
KAFKA_HOME Kafka Broker软件安装目录。LOG_DIR_ROOT EMR集群服务日志根目录。KAFKA_ZOOKEEPER EMR Kafka ZooKeeper访问路径。例如，master-1-1.c-0e6a8cxxxxxxxxxx.cn-hangzhou.emr.aliyuncs.com:2181/emr-kafka。KAFKA_CONF_DIR Kafka ...
创建Data Science集群
产品版本 默认最新的软件版本。组件版本 展示集群类型下的组件及组件版本信息。ACK集群 选择已有的ACK集群，或者在容器服务ACK控制台新建ACK集群。说明 Data Science集群会使用如下命名空间（Namespace），包括anonymous、cert-manager、...
EMR-4.4.x版本说明
发布日期 EMR-4.4.1 2020年9月15日 更新内容 服务 变更点 YARN 删除软件栈 yarn.application.classpath 配置中的 hadoop/tools/lib 目录。优化MR作业默认的参数配置。Hive 优化默认的参数配置。Tez Ranger 支持Impala权限控制。升级jackson...
EMR-4.6.x版本说明
EMRHook 新增软件服务。hive-hook：支持Hive元数据和作业运行信息输出至DataWorks。spark-hook：支持Spark元数据和作业运行信息输出至DataWorks。发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1....
使用Kerberos认证
前提条件 已创建集群，且在 软件配置 页面的 高级设置 区域中，打开了 Kerberos身份认证 开关。创建集群详情请参见 创建集群。操作步骤 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，进入Kerberos的admin.local工具。如果您是...
存储说明
本地盘不能选择磁盘数量，只能使用默认配置好的数量，数据也没有后端的备份机制，需要上层的软件来保证数据可靠性。部分缓存或临时测试场景，或者基于3副本存储TB级数据时会使用本地盘，但是该方案会因为磁盘寿命增加额外的运维成本，因此...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
实现Hue多实例负载均衡
可选：在 集群基础信息 的 软件信息 区域，查看您Gateway集群的版本。如果您创建的集群是EMR-3.28.0和EMR-4.3.0之前版本，请在添加Hue服务前，登录Gateway集群任意节点，执行如下命令。mysql-u root-pEMRroot1234-hemr-header-1*.*to 'hue'...
管理资源队列
应用环境 开发：开发者编写、测试和调试代码的地方，通常包括IDE（集成开发环境）、版本控制系统和各类调试工具，用于开发者进行软件的构建与调试。生产：供用户使用的实际运行环境，提供稳定、高效和安全的服务。修改并发上限 在 队列管理...
手动执行脚本
手动执行类似引导操作，在集群创建完成后，您可以通过手动执行功能来安装集群尚未支持的软件和服务，例如：使用YUM安装已经提供的软件。直接下载公网上公开的软件。读取您OSS中的自有数据。安装并运行服务（例如，Flink或者Impala），但...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
管理中心功能概览
在DataWorks的 管理中心，用户可以按照 工作空间维度 进行操作，包括配置工作空间的基本设施、选择合适的计算引擎、接入不同的数据源、注册开源集群、配置扩展程序，以及管理工作空间成员的权限和角色；此外，用户还可以在 全局维度 进行...
- 产品推荐
- 这些文档可能帮助您