开源工具可以干啥-开源工具可以干啥文档介绍内容-阿里云

EMR数据开发停止更新公告

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...

JindoFS块存储模式

应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点开源OSS E-...

登录集群

此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或SSH密码方式）登录集群。前提条件已在EMR on ECS创建集群，详情请参见创建集群。确保本地...

常见问题

DataFlow集群提供了很多商业化Connector，例如Hologres、SLS、MaxCompute、DataHub、Elasticsearch和ClickHouse等，您在Flink作业中除了可以使用开源的Connector之外，还可以使用这些商业化Connector。下面以Hologres Connector为例，介绍...

产品优势

阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...

三方开源大语言模型

本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息重要三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务模型名称模型描述特征 Llama...

Ranger概述

Apache Ranger提供集中式的权限管理框架，可以对Hadoop生态中的HDFS、Hive和YARN等组件进行细粒度的权限访问控制，并且提供了Web UI方便管理员操作。Ranger组件介绍 Ranger主要由三个组件组成：Ranger Admin 您可以创建和更新安全访问策略...

产品优势

兼容开源：云消息队列 Kafka 版 100%兼容开源Apache Kafka，您可以直接使用开源Apache Kafka客户端与云消息队列 Kafka 版通讯。云消息队列 Kafka 版目前支持0.10.x~2.6.x的开源版本。无缝迁移：云消息队列 Kafka 版基于现有的开源...

HBase Replication

说明如果要对大批量复制数据进行验证，可以使用VerifyReplication工具验证，该工具使用详情请参见 Verifying Replicated Data。相关文档开启串行Replication，请参见 Serial Replication。开启同步Replication，请参见 Synchronous ...

概述

MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限...左侧是原生Spark的架构图，右侧的Spark on MaxCompute运行在阿里云自研的Cupid平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架。

开源项目

开源项目扩展了Kubernetes集群的功能。本文介绍阿里云容器服务Kubernetes版主要使用的开源项目。项目分类项目名称项目简介项目地址参考文档核心组件 Kubernetes Cloud Controller Manager for Alibaba Cloud 为Kubernetes应用创建负载...

应用场景

相较于原有解决方案，我们的解决方案运维更加简单，并且使用MySQL协议，可以对接各种BI工具，从而实现数据的快速分析和处理。实时数据分析场景解决方案步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持...

签名机制

您可以从阿里云开发工具包（SDK）了解更多阿里云SDK的信息。步骤一：构造规范化请求字符串排序参数。排序规则以首字母顺序排序，排序参数包括公共参数和接口自定义参数，不包括公共请求参数中的 Signature 参数。说明当使用GET方法...

Doris概述

从以下五个方面介绍Doris技术：在使用接口方面，Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，您可以通过各类客户端工具来访问Doris，并支持与BI工具的无缝对接。在存储引擎方面，Doris采用列式存储，按列进行数据的编码压缩和...

提交Flink作业

方式二：通过kubectl工具提交作业通过kubectl连接Kubernetes集群，详情请参见获取集群KubeConfig并通过kubectl工具连接集群。您也可以通过API等方式连接Kubernetes集群，详情请参见使用Kubernetes API。新建 basic-emr-example.yaml ...

Hive统一元数据

如果是本地的元数据库，您可以使用集群上的Hue工具来管理。E-MapReduce后台RDS统一管理元数据的方式，仅限小容量的用户使用。对于大容量场景，建议您自建RDS作为统一元数据。默认限制为：总容量：200MiB。小时query数量限制：720000/h。...

产品架构

从上图可以看出EMR由四部分组成：社区开源产品集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见版本概述下各版本的版本说明。注意已经创建好的EMR集群不支持组件升级。...

连接Kyuubi

使用Beeline连接Kyuubi 您可以用Hive Beeline或者Kyuubi Beeline工具（EMR集群上的工具名称为 kyuubi-beeline）连接Kyuubi Server。以下示例使用Kyuubi Beeline工具连接Kyuubi。方式一：使用Zookeeper连接Kyuubi服务（推荐）kyuubi-beeline...

Kyuubi概述

Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了...

使用Kerberos认证

Kerberos是一种基于对称密钥技术的身份认证协议，可以为其他服务提供身份认证功能。本文为您介绍Hive在开启Kerberos的情况下，如何访问Hive Client。前提条件已创建集群，且在软件配置页面的高级设置区域中，打开了 Kerberos身份认证 ...

Kerberos基础使用

本文为您介绍Kerberos的配置与基础操作，其中涵盖了核心配置文件krb5.conf和kdc.conf，详细说明了服务端如何使用KDC管理工具进行Principal管理及Keytab维护，以及客户端Ticket生命周期管理涉及的相关命令。前提条件已创建开启Kerberos认证...

管理用户

EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...

安装HBase Java SDK

使用阿里云发行的HBase客户端可以使用Lindorm宽表引擎的所有功能，并享受Lindorm带来的优秀体验。本文介绍如何安装阿里云HBase客户端。注意事项 HBase Java SDK不支持JDK17版本。前提条件已安装Java环境且JDK为1.8及以上版本。版本说明 ...

添加开源Elastic Search数据源

通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源登录 ...

添加开源Elastic Search数据源

通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源登录 ...

数据迁移

背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区提供的Backup和Restore的工具进行数据的迁移。基本流程示意图如下所示。操作步骤执行以下命令，查看待迁移Kudu表的名称列表。Kudu table list {YourKuduMasterAddress} 说明本文...

提交Spark作业

emr-spark-ack-n<集群对应的namespace>kill说明语法中的是emr-spark-ack工具在提交作业时生成的，您可以在输出日志中查看。方式三：使用控制台终端方式提交作业进入访问链接与端口页面。登录 EMR on ACK。在EMR on ACK页面，单击目标集群...

访问链接与端口

通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件已创建E-MapReduce集群，详情请参见创建集群。背景信息 ...

E-MapReduce弹性低成本离线大数据分析

大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述主流的三大分布式计算框架...

Zeppelin常见问题

EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...

什么是EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...

授权信息

操作（Action）下表是开源大数据平台 E-MapReduce（EMR）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的API接口...

EMR Serverless StarRocks商业化发布

EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...

Workflow商业化发布

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...

导出开源引擎任务

DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息您需要先导出开源调度引擎的任务至本地或OSS，再导入至...