连接并使用实例
引擎类型 连接方式 参考文档 宽表引擎 通过Lindorm宽表SQL连接宽表引擎 基于Java JDBC接口的应用开发 基于Python DB-API的应用开发 通过Lindorm-cli连接并使用宽表引擎 通过HBase API连接宽表引擎 基于HBase Java API的应用开发 基于HBase...
SDK FAQ
开源RabbitMQ提供的多语言或框架SDK 云消息队列 RabbitMQ 版 全部都支持。具体信息，请参见 开源RabbitMQ AMQP协议支持的多语言或框架SDK。是否可以直接使用开源RabbitMQ JMS Client？云消息队列 RabbitMQ 版 不支持直接使用开源RabbitMQ ...
自定义标量函数（UDSF）
说明 python_demo-master 属于第三方搭建的网站，访问时可能会存在无法打开或访问延迟的问题。在PyCharm中，单击 file>open，打开刚才解压缩完成的 python_demo-master。双击打开 \python_demo-master\udx\udfs.py 后，根据您的业务，修改 ...
客户端
开源社区提供了多种语言的TSDB For InfluxDB®客户端SDK，列举如下。Elixir Instream(instream)Erlang Erlang InfluxDB UDP Writer Go InfluxDB Client Haskell influxdb-haskell Java influxdb-java JavaScript/Node.js node-influx Lisp ...
安装AIACC-Training
{python_version} 为Python的版本号，需要去除版本号中的半角句号（.），例如Python 3.6对应 python_version=36。对于Python 3.8或以上版本的whl包，请使用如下的下载地址模板：...
开源自建对比
Web场景 对比项 Web应用+ECS Web应用+K8s集群 SAE 多语言运行环境 不支持，基于开源自建，探索集成解决方案。不支持，基于开源自建，探索集成解决方案。支持PHP-FPM结合Nginx的在线应用。远程调试 不支持，基于开源自建，探索集成解决方案...
示例代码
无 无 无 静态网站应用 Hexo应用 Docusaurus应用 VuePress应用 AI场景 PyTorch案例 TensorFlow案例 OCR案例 目标检测案例 GPU应用模板案例 音视频处理 弹性高可用的高度自定义音视频处理 对直播视频流截图的应用 一个对浏览器全景录制 其他...
和开源产品对比
有开源产品同样可以实现分布式任务调度，本文介绍SchedulerX和开源产品的对比，帮助您更好的了解分布式任务调度和SchedulerX。产品名称 定时调度 工作流 分布式任务 白屏化任务治理 任务类型 报警监控 使用成本 Quartz Cron 不支持 不支持 ...
功能特性
管理外部集群 Notebook笔记本 通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言程序的代码的编写、调试和执行。管理笔记本 用户管理 EMR Notebook中的用户有权限管理当前工作空间及其内容。管理用户 EMR Workflow 工作空间管理 ...
PySpark Python环境介绍
Spark2 python3.7/usr/local/bin/python3.7 Spark3 python3.7/usr/local/bin/python3.7 EMR-3.42.0版本、EMR-5.8.0版本 Spark2 python3.6/bin/python3.6 Spark3 python3.6/bin/python3.6 Python第三方库安装 安装pip3.8。部分EMR版本（EMR ...
Python使用说明
E-MapReduce使用的Python 3版本为Python 3.6.4。支持Python 3.6.4 EMR-2.10.0及后续版本和EMR-3.10.0及后续版本，支持Python 3.6.4。Python文件安装目录为/usr/bin/python3.6。EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您...
安装SDK
本节介绍阿里云E-MapReduce Python 2.7+SDK安装流程。SDK安装 通过pip进行安装。sudo pip install aliyun-python-sdk-emr 如果需要升级E-MapReduce Python SDK。sudo pip install aliyun-python-sdk-emr-upgrade 卸载SDK。sudo pip ...
概述
访问步骤 针对不同的语言，操作有所不同。请按需参见以下文档实现社区版SDK访问阿里云 云消息队列 RocketMQ 版：社区版TCP协议Java SDK接入说明 社区版TCP协议C++ SDK接入说明 暂不支持通过社区版TCP协议的Go SDK和Python SDK访问阿里云 云...
使用SDK创建跟踪
前提条件 请确保您已安装 Python 和 pip。请确保您已安装Python编辑工具。本文以 Visual Studio Code 为例进行介绍。请确保您已获取阿里云账号或RAM用户的AccessKey ID和AccessKey Secret。本示例使用了阿里云Credentials工具托管AccessKey...
支持的检测规则
依赖包漏洞检测 现代企业常用开源组件，开源依赖提供方通常没有较多的预算进行安全性测试，黑客的主要攻击目标也是开源包内的漏洞。为了杜绝安全隐患，企业需要做到以下三点：了解工程都使用了哪些依赖包；删除不需要的依赖包；检测并修复...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
Databricks Runtime
所有Python软件包都安装在一个环境中：/databricks/python2在使用Python2的/databricks/python3集群上和在使用Python3的集群上。不支持切换（或激活）Conda环境。AutoML支持 Databricks Runtime ML包括可自动进行模型开发过程并帮助您有效...
消息收发功能
终端SDK示例代码 说明 针对不同的使用场景，本文提供的示例代码所覆盖的语言并不代表该场景下仅支持该语言，您可以参照Java的示例代码完成其余语言的参数填写。消息收发 终端SDK消息收发示例 语言 下载地址 Java mqtt.demo.java C mqtt....
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
什么是EMR on ECS
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。产品...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
使用Python Client提交Presto作业
本文为您介绍如何使用Python Client编程的方式访问Trino On ACK服务并执行查询操作。背景信息 Trino JDBC使用和相关参数的更多信息，请参见 trino-python-client。前提条件 已在E-MapReduce on ACK控制台创建Presto集群，详情请参见 快速...
使用Python3 Kernel运行EMR PySpark
在E-MapReduce的JupyterHub中，您可以直接运行Python任务，也可以通过Python3 Kernel中的魔术命令PySpark和SQL运行任务。本文通过示例为您介绍如何运行Python3 Kernel任务，以及Python3 Kernel中的魔术命令PySpark和SQL中的参数。前提条件 ...
Zeppelin常见问题
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
常见问题
export PYSPARK_PYTHON=usr/bin/python3 执行以下命令，查看Python的版本。pyspark 当返回信息中包含如下信息时，表示已修改Python版本为Python 3。Using Python version 3.6.8 永久生效方式 通过SSH方式登录集群，详情请参见 登录集群。...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
TensorFlow（仅对存量用户开放）
Data Science集群内置Python 3的Tensorflow 1.15.0版本，可以直接使用。其中Master节点只支持购买CPU资源计算TensorFlow作业，Core节点支持购买CPU或GPU资源计算TensorFlow作业。本文主要介绍如何查看TensorFlow的版本、切换TensorFlow版本...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
Superset（仅对存量用户开放）
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
FUSE使用说明
usr/bin/env python36 with open("/mnt/jfs/test/test.txt",'w',encoding='utf-8')as f:f.write("my first file")f.write("This file")f.write("contains three lines")使用Python读文件。创建脚本 read.py 文件，包含如下内容。usr/bin/...
FUSE使用说明
usr/bin/env python36 with open("/mnt/jfs/test/test.txt",'w',encoding='utf-8')as f:f.write("my first file")f.write("This file")f.write("contains three lines")使用Python读文件。创建脚本 read.py 文件，包含如下内容。usr/bin/...
- 产品推荐
- 这些文档可能帮助您