驱逐及防护
最小运行时长保障 对于一些不可中断的计算型任务，如果您期望这类Pod在一定时间内不被主动驱逐，您可以预估一个计算任务执行的最长时间，并且在Pod的Annotation上进行标注，我们将会根据您的设置来尽可能保障Pod在期望的运行时长内不会被...
YARN高安全特性使用指南
在高安全集群中YARN服务默认开启了以下特性，对使用行为做了一定的限制，来保证集群的数据安全：Kerberos认证 ACL授权 LCE安全容器 Kerberos认证 创建高安全集群时，EMR为YARN自动配置了Kerberos相关的配置项，无需您手动配置。Kerberos的...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
具体步骤，请参见 创建Hadoop运行环境。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。操作步骤 连接ECS实例。具体操作，请参见 连接ECS实例。配置JindoSDK。下载最新版本的JindoSDK JAR包。下载地址，请...
管理函数
说明 本文以 使用内置运行时创建 和 使用自定义运行时创建 方式为例进行说明。如果 函数计算 提供的环境无法满足您的业务需求，您可以 使用容器镜像创建 方式部署函数。具体操作，请参见 创建Custom Container函数。基本设置：配置函数的...
通过RootPolicy访问
具体操作，请参见 创建Hadoop运行环境。已开通OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已配置4.5.0及以上版本JindoSDK。具体操作，请参见 非EMR集群接入OSS-HDFS服务快速入门。操作步骤 配置环境变量。连接ECS实例。...
扩容磁盘
Hadoop集群类型中通过弹性伸缩模块创建的弹性伸缩组（创建详情请参见 配置弹性伸缩（仅Hadoop集群类型）），无法进行该操作。注意事项 云盘扩容后无法缩容，建议您合理规划存储空间。操作步骤 进入节点管理页面。登录EMR on ECS控制台。在...
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
实例运行诊断
周期实例或补数据实例实际运行时，除受实例的 定时运行时间 影响外，还受多方因素影响。例如，上游实例任务的运行状态是否成功、所剩资源是否满足实例运行、实例是否命中限流规则等。为此，Dataphin提供实例运行诊断功能，对实例的运行流程...
实例运行诊断
周期实例或补数据实例实际运行时，除受实例的 定时运行时间 影响外，还受多方因素影响。例如，上游实例任务的运行状态是否成功、所剩资源是否满足实例运行、实例是否命中限流规则等。为此，Dataphin提供实例运行诊断功能，对实例的运行流程...
Oracle同步至Tablestore
如果需要对任务做精细化配置，达到自定义同步需求，单击页面右上角的 高级参数配置，对读同步任务的读端、写端以及运行时的参数进行配置。报警配置。为能够及时感知到同步任务的异常并做出响应和处理，您可以对同步任务设置不同的报警策略...
CDH6数据迁移
在搜索框中输入mapreduce.application.classpath进行搜索，在搜索结果的 MR应用程序Classpath 区域中，单击 添加$HADOOP_HDFS_HOME/*配置。单击 保存更改。配置 文件存储 HDFS 版 Java SDK。下载最新的 文件存储 HDFS 版 Java SDK（aliyun-...
快速入门
在使用云构建服务构建/发布应用之前，须对开发环境进行必要配置，包括：添加代码仓库权限、配置证书、配置人员。操作 说明 配置代码仓库 添加代码仓库权限，用于关联/管理应用的代码仓库，后续可基于指定代码仓库的源代码，进行构建/发布等...
设置集群身份映射
您可进入 CDH集群管理>用户管理 进行配置。非同名映射：通过子账号映射的非同名集群系统账号运行CDH任务，请根据界面指引配置映射关系。Kerberos账号映射 配置阿里云账号（主账号或子账号）与CDH集群Kerberos账号映射。Kerberos账号格式为 ...
分析平台设置
该配置适用于分析平台专用计算源内运行时创建的非临时表的生命周期。说明 过长的生命周期会导致长期占用储存空间，请合理选择。是否允许数据结果下载 开启后分析平台中Notebook计算结果将支持下载。是否开启下载审批 开启后分析平台中...
分析平台设置
该配置适用于分析平台专用计算源内运行时创建的非临时表的生命周期。说明 过长的生命周期会导致长期占用储存空间，请合理选择。是否允许数据结果下载 开启后分析平台中Notebook计算结果将支持下载。是否开启下载审批 开启后分析平台中...
Hadoop
其他HADOOP集群，如果您在集群上未设置 HADOOP_CONF_DIR 环境变量，则需要手动输入 HADOOP_CONF_DIR 路径。class ...
Spark访问OSS
本文为您介绍使用Spark访问OSS时需要的相关配置。OSS Endpoint配置 调试时请使用OSS服务所在地域的外网Endpoint，提交集群需替换为VPC内网Endpoint。详情请参见 访问域名和数据中心。OSS访问方式配置 以AccessKey ID和AccessKey Secret方式...
配置环境变量
在更新应用时配置环境变量 如果您在创建应用时没有配置环境变量，可以在部署应用时进行配置。登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表，在顶部菜单栏选择地域并在页面上方选择 所属微服务空间，在 集群类型 下拉列表，选择 ...
异构数据源访问
hive-site.xml Hive配置项，如元数据存储的连接信息、Hive运行时的内存和性能设置等。etc/host文件 解析Hive集群中每个节点的主机名到IP。有以下两种获取方式：方式一：依次登录Hive集群的每台机器，获取/etc/hosts文件 中的本节点IP和主机...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
数据面安全性
运行时环境版本支持时间与社区同步 由于社区对各种运行时环境版本有明确的支持时间，社区不再支持的运行时版本，函数计算 会同步给出支持截止时间，会按照禁止新增函数、禁止修改存量函数和禁止函数运行的顺序逐渐停止支持，函数计算 不...
SAG-100WM Web配置
在您通过智能接入网关设备接入阿里云时，您除了可以通过阿里云管理控制台对设备进行配置，您也可以通过登录设备Web管理控制台进行配置。背景信息 SAG-100WM设备目前支持运行的软件版本包含1.0系列版本和2.0系列版本。不同系列版本支持的...
开启权限认证
ACL控制，修改参数值为true，不仅可以对用户或用户组进行权限控制，还可以对其他用户进行设置。设置ACL相关命令有 hadoop fs-getfacl[-R]和 hadoop fs-setfacl[-R][-b|-k-m|-x<acl_spec><path>]|[-set<acl_spec><path>]。dfs.permissions....
在非EMR集群中部署JindoSDK
非Hadoop配置文件 在使用JindoFuse、Jindo CLI等非Hadoop生态组件时，会访问环境变量 JINDOSDK_CONF_DIR 所在的目录读取配置文件。配置文件 使用INI风格配置文件，配置文件的文件名为 jindosdk.cfg，示例代码如下：[common]logger.dir=tmp/...
快捷模式与安全模式差异比对
DataWorks支持使用快捷模式及安全模式绑定...管理者可以使用EMR集群内的Ranger组件对每个集群账号进行权限管控，最终实现不同身份在DataWorks上运行EMR任务时，拥有不同的数据操作权限。适用于对任务执行者有数据权限管控隔离要求的工作空间。
Flume使用JindoSDK写入OSS-HDFS服务
Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume通过调用flush()保证事务性写入，并通过JindoSDK写入OSS-HDFS服务，确保flush后的数据立刻可见，...
数据面安全性
运行时环境版本支持时间与社区同步 由于社区对各种运行时环境版本有明确的支持时间，社区不再支持的运行时版本，函数计算 会同步给出支持截止时间，会按照禁止新增函数、禁止修改存量函数和禁止函数运行的顺序逐渐停止支持，函数计算 不...
Spark常见问题
以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加 spark.hadoop.odps.cupid.trusted.services.access.list=[YourBucketName].oss-[YourRegionId]-internal.aliyuncs.com 说明 在MaxCompute Spark集群模式运行时只支持OSS内网...
配置任务监控报警规则
使用限制 仅支持针对生产环境的任务进行配置监控报警规则。单次配置最多支持选择 100个 监控项。监控项包括任务和逻辑表的字段。批量为任务或字段配置相同的监控报警规则 在 任务监控 页面。按照下图指引，进入 新建离线任务监控 对话框。...
配置任务监控报警规则
使用限制 仅支持针对生产环境的任务进行配置监控报警规则。单次配置最多支持选择 100个 监控项。监控项包括任务和逻辑表的字段。批量为任务或字段配置相同的监控报警规则 在 任务监控 页面。按照下图指引，进入 新建离线任务监控 对话框。...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
EMR Doctor常见问题
EMR Doctor在安装和升级过程中会对YARN、Spark、Tez和Hive服务进行配置整体下发，如果您现有的部分配置只进行了修改保存，并没有下发，则需要您确保下发过程不会对服务造成影响。EMR Doctor都会采集哪些数据？EMR Doctor不会采集您的实际...
使用独立的Trino集群
创建独立的Trino集群后无法直接使用，需要进行相关的配置。本文为您介绍创建独立的Trino集群后，如何配置连接器和数据湖元数据，以使用独立的Trino集群。背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、...
Snapshot（试用）
当您希望对OSS-HDFS服务的数据进行备份，在数据发生错误、被误删除时，将数据恢复至可用状态，您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能在使用方式上与HDFS的快照功能完全兼容，同时支持目录层级的操作。重要 此功能目前尚...
Trino使用JindoSDK查询OSS-HDFS服务中的数据
具体步骤，请参见 创建Hadoop运行环境。已部署Trino。具体操作，请参见 部署Trino。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。操作步骤 连接ECS实例。具体操作，请参见 连接ECS实例。配置JindoSDK。...
已购驱动
（可选）在 设备与驱动 页签，在已分配驱动的 设备列表 区域，单击 驱动配置，可对当前驱动进行配置。配置完成后单击 确定。表 1.驱动配置参数说明 参数 描述 配置格式 配置格式有如下三种：键值对配置 JSON格式 配置文件 键值对配置表 ...
配置Security Context
配置实例Security Context 功能说明 在Linux中，通常可以通过sysctl接口修改内核运行时的参数。对于ECI实例的内核参数，您可以通过以下命令进行查看。更多信息，请参见 sysctl.sh。sysctl-a 在Pod级别，您可以通过配置Security Context来...
- 产品推荐
- 这些文档可能帮助您