HDFS配额（Quotas）介绍
HDFS允许管理员可以对所使用的名称数量和单个目录使用的空间量设置配额，名称配额与空间配额分别独立运作，但是两种配额的管理和实现方式非常相似。本文为您介绍HDFS的名称配额和空间配额两种方式以及如何进行配额操作。名称配额（Name ...
重命名目录
ProjectId String 是 FP-ABCDEFGHI*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Name String 否 Test 目录名称。您可以调用 ...
查询项目列表
调用ListFlowProject接口查询项目列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
恢复工作流
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
安装第三方插件
EMR集群中Flume的软件安装目录为/opt/apps/FLUME/flume-current/lib。方式三：上传第三方的JAR包至$FLUME_HOME/plugins.d/目录下。相关的目录：$FLUME_HOME/plugins.d/lib：插件本身的JAR包。FLUME_HOME/plugins.d/libext：插件依赖的JAR包...
暂停工作流
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 区域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
停止作业实例
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
删除工作流目录
ProjectId String 是 FP-ABD24A6163D3*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
重试工作流
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。ReRunFail Boolean 否 true 是否只重试失败节点...
查询项目用户信息
调用ListFlowProjectUser接口，查询项目用户列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
创建Data Science集群
产品版本 默认最新的软件版本。组件版本 展示集群类型下的组件及组件版本信息。ACK集群 选择已有的ACK集群，或者在容器服务ACK控制台新建ACK集群。说明 Data Science集群会使用如下命名空间（Namespace），包括anonymous、cert-manager、...
管理中心功能概览
开源集群 用于管理绑定至DataWorks的开源集群。扩展程序 用于决定是否在当前工作空间启用某扩展程序校验，并编辑相关校验配置。报警配置 用于查看当前账号指定地域下的报警资源，并设置每日报警短信和电话数量的上限。租户成员与角色 用于...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
提交运行工作流
ProjectId String 是 FP-AC84F265C8E4*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Conf String 否 {"cyctime":"1542783967503"} ...
提交运行作业
ProjectId String 是 FP-3535FE0BE5228*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。JobInstanceId String 否 FJI-9DDAAA3ADA5F*...
查询项目设置详情
调用DescribeFlowProjectClusterSetting接口，查询项目设置详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
Spark SQL作业配置
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
查询项目集群设置列表
调用ListFlowProjectClusterSetting接口，查询项目集群设置列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
查询工作流目录
ProjectId String 是 FP-6E8E198E6C79*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。ParentId String 否 FC-6E8E198E6C79*父目录ID。...
查询目录信息
ProjectId String 是 FP-ABD24A6163D3*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 CategoryType ...
查询节点实例启动器日志
ProjectId String 是 FP-BECB9D35CB12*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Start Integer 否 200 起始偏移。Lines Integer ...
查询节点实例SQL结果
ProjectId String 是 FP-7A1018ADE917*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。SqlIndex Integer 否 0 第几个SQL结果。Offset ...
通用软件漏洞收集及奖励计划第四期
D oVirt 开源软件 D 华为FusionAccess 华为技术有限公司 D ZCMS 北京泽元迅长软件有限公司 E 群杰印章管理平台 江苏群杰物联科技有限公司 E e签宝 杭州天谷信息科技有限公司 E 广联达LinkOffice9（广联达OA）广联达科技股份有限公司 E 嘉扬...
Hive作业配置
前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。uservisits_aggre_hdfs.hive 内容如下。USE DEFAULT;DROP TABLE uservisits;CREATE ...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Workflow 新增工作空间管理
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是...您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以添加成员至工作空间，并赋予工作角色，以实现多角色协同工作。产品文档 管理工作空间
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
Spark作业配置
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
Hadoop MapReduce作业配置
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
项目空间操作
项目空间名称获取方式：登录 MaxCompute控制台，项目管理 页签下的MaxCompute 项目名。MaxCompute没有提供创建和删除项目空间的命令。创建项目空间操作详情请参见 创建MaxCompute项目。进入项目空间 进入指定的、具有访问权限的项目空间。...
Streaming SQL作业配置
前提条件 已创建项目，详情请参见 项目管理。已获取作业所需的资源和数据文件。例如，JAR包、数据文件名称以及两者的保存路径。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据...
Presto概述
Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向一个外部数据源，可以通过Connector访问该数据源。一次查询可以访问一个或多个Catalog。Schema：相当于一个数据库实例，一个...
Kafka Manager
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
Spark Streaming作业配置
前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
工作流编辑
背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目，详情请参见 项目管理。已编辑好作业，详情请参见 作业编辑。新建...
开源对比
本文从稳定性、内核能力、治理能力以及使用习惯等方面，对比阿里云 云消息队列 Kafka 版 与开源Apache Kafka。稳定性 项目 云消息队列 Kafka 版 Apache Kafka 磁盘水位 磁盘写满删除旧数据。磁盘写满直接宕机。线程池隔离 读冷数据仍可以...
创建EMR Studio集群
高级设置 软件自定义配置：可指定JSON文件对集群中的基础软件（例如Hadoop、Spark和Hive等）进行配置，详细使用方法请参见 软件配置。默认不开启。硬件配置。区域 配置项 描述 付费类型 付费类型 默认包年包月。当前支持的付费类型如下：...
临时查询
背景信息 本文为您介绍临时查询的相关操作，具体如下：新建作业 设置作业 运行作业 编辑锁 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制...
- 产品推荐
- 这些文档可能帮助您