EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
基本概念
概念 说明 工作空间 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作角色，以实现多角色协同工作。调度资源...
工作流快速入门
步骤三：创建工作流 在 项目管理 页面，单击新建项目的名称。在左侧导航栏，选择 数据开发>工作流定义。在 工作流定义 页面，单击 创建工作流。在 创建工作流 页面，拖拽 SHELL 节点块到画布中。本文以 SHELL 任务类型为例。任务类型的详细...
删除项目用户
调用DeleteFlowProjectUser接口，删除项目用户。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
修改数据开发项目
调用ModifyFlowProject接口，修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
概述
本文介绍Spark SQL流式处理支持的窗口函数及其时间属性。窗口函数 窗口函数是对一个特定窗口的聚合。...Spark SQL流式处理支持两类窗口：滚动窗口（TUMBLING）滑动窗口（HOPPING）时间属性 Spark SQL支持Event Time时间属性，对数据进行窗口内...
手动任务快速入门
步骤三：创建手动任务 在 项目管理 页面，单击新建项目的项目名称。在左侧导航栏，选择 数据开发>手动任务定义。在 手动任务定义 页面，单击 创建手动任务。在弹出的对话框中，配置相关的参数，单击 确定。本文以SHELL任务类型，使用自定义...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
删除数据开发项目
调用DeleteFlowProject接口，删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
添加项目用户
调用CreateFlowProjectUser接口，添加项目用户。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
删除项目集群设置
调用DeleteFlowProjectClusterSetting接口，删除项目集群设置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
Spark作业配置
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
作业日期设置
在 项目列表 页面，单击目标项目所在行的 作业编辑。进行作业设置。在 作业编辑 页面，选择需要操作的作业名称，单击右上角的 作业设置。在 配置参数 区域，单击 图标，新增参数，并按照上文介绍的变量通配符格式填写参数。配置完成后就...
查询项目详情
调用DescribeFlowProject接口，查询项目详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
删除作业
ProjectId String 是 FP-257A173659F5*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
修改项目集群设置
调用ModifyFlowProjectClusterSetting接口，修改项目集群设置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
创建项目集群设置
调用CreateFlowProjectClusterSetting接口，创建项目集群设置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
删除工作流
ProjectId String 是 FP-257A173659F5*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
Hadoop MapReduce作业配置
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
重命名目录
ProjectId String 是 FP-ABCDEFGHI*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Name String 否 Test 目录名称。您可以调用 ...
恢复工作流
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
Streaming SQL作业配置
前提条件 已创建项目，详情请参见 项目管理。已获取作业所需的资源和数据文件。例如，JAR包、数据文件名称以及两者的保存路径。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据...
暂停工作流
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 区域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
停止作业实例
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
查询项目列表
调用ListFlowProject接口查询项目列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
删除工作流目录
ProjectId String 是 FP-ABD24A6163D3*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
重试工作流
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。ReRunFail Boolean 否 true 是否只重试失败节点...
临时查询
背景信息 本文为您介绍临时查询的相关操作，具体如下：新建作业 设置作业 运行作业 编辑锁 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制...
查询项目用户信息
调用ListFlowProjectUser接口，查询项目用户列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
Presto SQL作业配置
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Presto SQL类型作业。在页面左侧...
作业模板
logProjectName：LogService的项目名。logStoreName：LogService的LogStore名。accessKeyId：阿里云账号的AccessKey ID。accessKeySecret：阿里云账号的AccessKey Secret。endpoint：LogService的LogStore所在Endpoint。当显式指定LogStore...
如何解决MSE Nacos开源控制台无法使用问题
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
提交运行工作流
ProjectId String 是 FP-AC84F265C8E4*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Conf String 否 {"cyctime":"1542783967503"} ...
提交运行作业
ProjectId String 是 FP-3535FE0BE5228*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。JobInstanceId String 否 FJI-9DDAAA3ADA5F*...
查询项目设置详情
调用DescribeFlowProjectClusterSetting接口，查询项目设置详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
查询项目集群设置列表
调用ListFlowProjectClusterSetting接口，查询项目集群设置列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
查询工作流目录
ProjectId String 是 FP-6E8E198E6C79*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。ParentId String 否 FC-6E8E198E6C79*父目录ID。...
查询目录信息
ProjectId String 是 FP-ABD24A6163D3*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 CategoryType ...
查询节点实例启动器日志
ProjectId String 是 FP-BECB9D35CB12*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Start Integer 否 200 起始偏移。Lines Integer ...
查询节点实例SQL结果
ProjectId String 是 FP-7A1018ADE917*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。SqlIndex Integer 否 0 第几个SQL结果。Offset ...
- 产品推荐
- 这些文档可能帮助您