c# 开源软件-c# 开源软件文档介绍内容-阿里云

概述

Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...

什么是EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...

Flink DataStream参考

DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...

什么是EMR Notebook

兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能交互式编程环境支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型支持...

概述

Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...

释放集群

当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。本文为您介绍如何释放集群。前提条件请确保待释放集群的状态是创建中、运行中或空闲中。操作步骤登录 EMR on ACK。...

EMR Doctor概述

E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...

技术支持的范围和方式

阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...

管理日志

E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件已在EMR控制台上创建集群，具体操作请参见创建集群。已开通SLS服务，具体操作请...

ClusterSummary

c-b933c5aac8fe*ClusterName string 集群名称。emrtest ClusterType string 集群类型。取值范围：DATALAKE：新版数据湖。OLAP：数据分析。DATAFLOW：实时数据流。DATASERVING：数据服务。DATALAKE ClusterState string 集群状态。取值范围...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...

EMR Serverless StarRocks服务等级协议更新

《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在服务等级协议中查看。变更生效时间 2024年03年01日变更范围 EMR Serverless StarRocks（标准版）...

访问Web UI

访问开源组件的Web UI。单击上方的访问链接与端口页签。在访问链接与端口页面，单击服务所在行的链接，即可正常的访问Web UI页面。常见问题问题描述：ACK集群未安装Ingress组件，该如何处理？解决方法：访问Web UI，需要ACK集群具备...

添加服务

返回数据名称类型示例值描述 RequestId String EBB4D49C-4064-4818-B3AE-4C6BE5FC8264 请求ID。示例请求示例 http(s):/[Endpoint]/?Action=AddClusterService&ClusterId=C-F32FB31D82954C64&RegionId=...

Impala Web UI

访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见通过SSH隧道方式访问开源组件Web UI 和访问链接与端口。说明使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...

UNION ALL语句

示例测试数据表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：test_source_union2 a（varchar）b（bigint）c（bigint）test1 1 10 test2 2 20 表3：test_source_union3 a（varchar）b（bigint）c（bigint）...

EMR Spark功能增强

阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...

Workflow商业化发布

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...

与开源PostgreSQL性能对比

ecs.c5.4xlarge ecs.c5.4xlarge 并发数 256 256 PostgreSQL版本 14 14 磁盘性能等级 PSL5 cloud_essd+PL3 预留磁盘空间自动扩容，无限制 4 TB 说明关于内核参数，PolarDB for PostgreSQL 14的参数与开源PostgreSQL 14性能参数进行了对齐...

删除集群模版

返回数据名称类型示例值描述 RequestId String F2BF8586-045D-4104-B00C-44A4AA619C05 请求ID。示例请求示例 http(s):/[Endpoint]/?Action=DeleteClusterTemplate&BizId=CT-35498C56B3F1*&RegionId=cn-hangzhou &<公共请求参数>正常...

什么是EMR Serverless Spark

高性能基于Fusion Engine(Spark Native Engine)，性能体验最高可达开源Spark的2倍。高扩展性基于阿里云Serverless底座，提供资源弹性能力，满足ETL作业突发高峰的同时，进一步降低实际计算资源成本。高扩展性提供资源和任务实例级别的可...

SELECT语句

测试结果 a（VARCHAR）b（INT）c（DATE）a1 211 1990-02-20 b1 120 2018-05-12 c1 89 2010-06-14 a1 46 2016-04-05 示例二测试语句 SELECT a,c AS d FROM 表名;测试结果 a（VARCHAR）d（DATE）a1 1990-02-20 b1 2018-05-12 c1 2010-06-14 ...

创建伸缩组

调用CreateScalingGroupV2接口，创建伸缩组。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...{"RequestId":"6C96FD2C-95A0-4C03-8A19-7D84A4BAAA1E","Data":"SGB-8C44755C8432*"}

Trino概述

Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...

Flink（VVR）作业配置

EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...

释放集群

Id String 是 C-D7958B72E59B*集群ID。您可以调用 ListClusters 接口查看集群的ID。RegionId String 是 cn-hangzhou 区域ID。您可以调用 DescribeRegions 接口查看最新的阿里云地域列表。ForceRelease Boolean 否 true 正常释放时，如果您...

Delta Lake概述

与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...

克隆作业

Id String 是 FJ-244582F1934C*克隆的目标作业ID。您可以调用 ListFlowJob 查看。ProjectId String 是 FP-C62EEC30F773*克隆的目标作业所属项目。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以...

CreateReport

c-b933c5aac8fe*返回参数名称类型描述示例值 object RequestId string 请求 ID。DD6B1B2A-5837-5237-ABE4-FF0C8944*错误码 HTTP status code 错误码错误信息描述 400 ConflictParameters Parameters that must not be used together....