合作伙伴及开源生态
（数据统计截止时间为 2021 月 7 月 22 日）SOFAStack 目前涵盖的开源项目有：主要项目：基于 Spring Boot 的研发框架 SOFABoot、生产级 Java RPC 框架 SOFARPC、分布式链路跟踪系统 SOFATracer、高可用服务注册中心 SOFARegistry。...
JindoFS实战演示
AI训练加速 文档链接 视频链接 视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的...
什么是EMR Serverless Milvus
您还可以利用开源的Attu工具进行可视化操作，进一步促进应用的快速开发和部署。背景信息 Milvus是一款云原生开源向量检索引擎，基于Faiss、Annoy、HNSW等知名库构建，并进行了优化，实现了高可用、高性能、易扩展的特性，适于处理海量向量...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
开源版和商业版介绍
Guaridan 不支持 说明 有 starter，但没有开源。支持 中间件（消息）MsgBroker 不支持 支持 中间件（数据）DTX 支持 说明 支持 TCC、FMT 模式。支持异库事务日志存储。支持 说明 支持 TCC、FMT 模式。支持异库事务日志存储。支持同城双活。...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
常见问题
有没有自动触发Optimize或Vacuum的机制？为什么建表失败？Delta建表需要指定LOCATION，这种表在Spark中为外表。建表时，如果目标目录不存在，即创建一张全新的表，理论上不会出现这种情况。如果LOCATION已经存在，那么基于此LOCATION建表...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
管理任务
保存工作流后，您可以对已有的任务定义和任务实例进行操作。本文为您介绍如何管理任务定义和任务实例。任务定义操作 在 任务定义 页面，您可以执行以下操作。操作 说明（版本）只能切换至处于下线状态的任务定义。（删除）只能删除处于下线...
概述
本文介绍Spark SQL流式处理支持的窗口函数及其时间属性。窗口函数 窗口函数是对一个特定窗口的聚合。例如，您可以通过定义窗口来收集过去1分钟内某网站的用户点击量，并对这个窗口内的数据进行计算。Spark SQL流式处理支持两类窗口：滚动...
管理用户
EMR Notebook中的用户有权限管理当前工作空间及其内容。本文为您介绍如何添加和删除用户。前提条件 已创建工作空间，详情请参见 管理工作空间。已创建RAM用户，详情请参见 创建RAM用户。添加用户 进入EMR Notebook页面。登录 E-MapReduce...
Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
Flink Python参考
背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本，关于Flink Python API的详细信息，请参见 Python API。使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用...
欠费说明
实例欠费后有停机风险，系统会提醒或通知您，请及时续费，避免对您的服务造成影响。本文介绍E-MapReduce集群的欠费说明以及如何查看欠费金额。欠费说明 多个集群之间并不会互相影响，例如，您有一个包年包月集群和一个按量付费集群，当按量...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
管理DAG
您可以对已有的DAG进行相应的操作。方式二：在Airflow Web UI页面管理DAG 警告 在Code Editor中修改提交会直接作用在OSS上的对应文件上，不建议在生产环境中使用Code Editor，避免操作失误造成损失。可以在开发或测试中使用Code Editor，以...
EMR Workflow公测说明
重要 公测期间您可以免费试用EMR Workflow服务，但EMR Workflow工作流运行时需要关联EMR集群，创建或使用已有的EMR集群会产生EMR和ECS等费用，详情请参见 计费项。公测限制 公测期间，有以下限制：免费提供1CU调度资源，建议并发执行任务数...
Gateway实例说明
它可以作为一个独立的作业提交点，关联到已有的集群。本文为您介绍如何在已有的EMR集群基础上创建Gateway集群和Gateway节点组。Gateway集群或Gateway节点组通常是一个独立的集群或节点组，由多台相同配置的Gateway实例组成，集群上会部署...
EMR Notebook公测说明
重要 公测期间您可以免费试用EMR Notebook服务，但EMR Notebook工作流运行时需要关联EMR集群、添加EMR集群下的数据源，创建或使用已有的EMR集群会产生EMR和ECS等费用，详情请参见 计费项。公测限制 公测期间，有以下限制：指定地域如果创建...
创建集群模板
集群模板资源组：根据实际需求选择已有的资源组，或者单击 创建资源组 来新建资源组，以便对模板进行有效的分组管理。管理集群模板 面板中，为您展示了当前地域和资源组下的集群模板列表。参数 说明 模板ID 系统自动生成。模板名称 您...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
Hive开发手册
您可以关联一个已有的集群，也可以自动按需创建一个，然后关联上创建的作业。示例2 以 HiBench 中的scan为例。编写如下脚本，上传至OSS。USE DEFAULT;set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;set mapreduce....
创建Data Science集群
重要 创建ACK集群时，有以下限制信息：Kubernetes版本：仅支持1.22~1.24之间的版本。vCPU：大于等于16 vCPU。内存：大于等于64 GiB。实例规格：仅支持通用型、计算型、内存型。仅支持ecs.g5、ecs.g6、ecs.g7及更高系列的规格族。已创建节点...
管理网络配置
修改网络配置 在Notebook使用过程中，如果您需要绑定使用其他VPC下的外部集群或其他VPC下的数据库，可以修改已有的网络配置。在 Notebook 页面，单击 控制台 或者工作空间名称。在E-MapReduce Notebook页面，单击左侧的（工作空间设置）...
管理安全组
背景信息 您在创建E-MapReduce集群时，可以使用已有的安全组或者新建安全组，对某个安全组下的所有ECS实例的出方向和入方向进行网络控制。您可以将ECS实例按照功能划分，放于不同的安全组中。例如，通过E-MapReduce创建的安全组为E-...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，...在 选择已有数据源 列表中选择配置完成的开源Elastic Search数据源。在 index 输入框中填写查询索引。在 Query 输入框中填写查询体，查询体为JSON对象。单击 查看数据返回结果，查看数据返回结果。
访问Web UI
如果创建ACK集群时没有勾选Ingress组件，则可以按照以下步骤为已有的ACK集群开启公网Ingress服务。进入集群详情页面。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。安装Nginx Ingress Controller，...
SHELL
通过使用变量，您可以更方便地复用已有的任务，或者适应动态的需求。在本例中，先自定义了VARCHAR类型的参数DD，将参数值设置为 this is a test，然后在脚本声明了echo命令 echo"hello world,${DD}。当我们保存并运行任务后，在日志中会...
管理手动任务
在 运行手动任务 对话框中，选择已有的 调度资源组，系统会根据您选定的调度资源组自动匹配 执行集群，单击 确定。手动任务定义操作 在 手动任务定义 页面，您可以进行以下操作。操作 说明（编辑）只能编辑未被上线状态的工作流关联的手动...
管理LDAP认证
开启LDAP认证功能可以方便您使用LDAP认证，避免了复杂的配置过程。本文为您介绍如何一键开启、关闭LDAP认证，以及连接Impala。前提条件 已创建EMR-3.44.0及后续版本或EMR-5.10.0及后续版本，且选择了Impala和OpenLDAP服务的集群，详情请...
在Hue WebUI使用编辑器
可以查看已有的数据库列表,返回如下图所示信息。在Hive语句编辑区输入以下语句，创建表格。CREATE TABLE IF NOT EXISTS `store_sales`(`ss_sold_date_sk` bigint,`ss_sold_time_sk` bigint,`ss_item_sk` bigint);单击 图标，开始执行Hive...
- 产品推荐
- 这些文档可能帮助您