权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS加速OSS文件访问
kubectl get pv,pvc 预期输出：NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/hadoop 100Gi RWX Retain Bound default/hadoop 52m NAME STATUS VOLUME CAPACITY ACCESS MODES ...
常用文件路径
usr/lib/jindodata-current/sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin HADOOP_CLASSPATH=opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar ...
HDFS服务日志
HDFS服务的日志存储在/mnt/disk1/log/hadoop-hdfs 目录下，本文介绍HDFS服务各组件对应日志的详细说明。组件 日志 说明 ZKFailoverController（ZKFC）hadoop-hdfs-zkfc-*.out ZKFC的进程启动日志，部分启动异常会显示在out文件中。hadoop-...
切换为Hadoop原生的JobCommitter
E-MapReduce（简称EMR）集群默认使用JindoCommitter加速大数据作业，解决OSS等对象存储在Spark、MapReduce等作业使用原生Hadoop JobCommitter时遇到的性能和一致性等问题。如果您不想使用默认的JindoCommitter，则可以参照本文切换为Hadoop...
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
使用Fluid加速OSS文件访问
kubectl get pv,pvc 预期输出：NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/hadoop 100Gi RWX Retain Bound default/hadoop 52m NAME STATUS VOLUME CAPACITY ACCESS MODES ...
实例类型
例如：主实例节点（Master）：部署Hadoop HDFS的NameNode服务、Hadoop YARN的ResourceManager服务。核心实例节点（Core）：部署DataNode服务、Hadoop YARN的NodeManager服务。计算实例节点（Task）：只进行计算，部署Hadoop YARN的...
CreateTable-新增元数据表
注：表支持的数据格式 创建表时用户必须指定数据格式，参数示例如下 avro 格式：table.Parameters:{"classification":"avro"} table.Sd:"InputFormat":"org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat""OutputFormat":"org....
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
测试方法
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
报错“error occurred where call hadoop api”
问题描述 Dataphin管道任务失败，报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式...
管理站点监控任务
创建站点监控任务后，您可以查看其详情，并对其执行修改、删除、禁用和启用操作。查看站点监控任务 您可以查看其任务详情、监控分析和报警规则，便于您及时查看站点的异常数据，并处理故障。登录 云监控控制台。在左侧导航栏，选择 网络...
什么是云监控
云监控（CloudMonitor）是一项针对阿里云资源和互联网应用进行监控的服务。云监控为云上用户提供开箱即用的企业级开放型一站式监控解决方案。云监控涵盖IT设施基础监控和外网网络质量拨测监控，是基于事件、自定义指标和日志的业务监控，为...
使用Hadoop作为元仓计算引擎进行元仓初始化
本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 Dataphin支持通过直连元数据库或Hive Metastore Service服务方式获取...
网络监控
云监控通过安装在阿里云主机（ECS实例）和非阿里云主机上的云监控插件，采集网络监控的网卡带宽、网卡流入包数、网卡错误包数和网络连接数等监控指标的监控数据，您还可以为这些监控指标设置报警规则。当某个监控指标达到报警条件时，会给...
Dataphin 即席sql...hadoop.hive.common.type.HiveDate
问题描述 Dataphin 即席sql报错Could not initialize class org.apache.hadoop.hive.common.type.HiveDate。问题原因 插入数据后，查询表报错，表结构有date字段，输入类型有问题。解决方案 把表字段改成string类型，然后重新插入数据查询...
使用Hive访问
HADOOP_HOME/bin/hadoop fs-ls/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-ls/tmp/hive$HADOOP_HOME/bin/hadoop fs-chmod 775/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-chmod 775/tmp/hive 修改 io.tmpdir 路径。同时要修改 ...
概览
企业云监控针对企业级应用场景为用户提供一站式的监控解决方案。目前企业云监控包括监控大盘、秒级监控、智能水位分析和实时数据导出。开通企业云监控 当您首次使用企业云监控时，需要单独开通。具体操作，请参见 开通企业云监控。应用场景...
概览
自定义监控为您提供了自定义监控项和报警规则的功能，您可以通过上报监控数据接口，将自己关心的业务指标上报至云监控，并在云监控上添加监控图表和设置报警规则，对于故障指标发送报警通知，便于您及时处理故障，保障业务的正常运行。...
函数操作
numpy-1.19.4-cp37-cp37m-manylinux1_x86_64.zip ST_Aggr_ConvexHull ALIYUN$@aliyun.com 2021-03-18 17:06:29 com.esri.hadoop.hive.ST_Aggr_ConvexHull esri-geometry-api.jar,spatial-sdk-hive.jar ST_Aggr_Intersection ALIYUN$@aliyun....
产品优势
云监控是阿里巴巴集团多年来监控技术研究积累的成果，结合阿里云计算平台强大的数据分析能力，为您提供云产品监控、站点监控和主机监控等功能，为您的云产品保驾护航。即开即用 云监控无需您购买和开通。当您注册阿里云账号后，自动开通云...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
API概览
本产品（云监控/2019-01-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过...
概览
步骤三 创建监控大盘，具体操作如下：创建业务大盘 创建系统预置大盘 创建自定义大盘 线下IDC、阿里云产品和其他云厂商服务的监控数据接入云监控后，您可以为监控数据创建监控大盘，通过监控大盘查看指定监控指标的监控图表。您可以通过...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提条件 请确保您已在云服务器ECS上创建GPU计算...
概览
云监控通过在主机上安装插件，为您的主机提供监控功能。无论您的主机是云服务器ECS，还是其他云厂商的虚拟机或物理机，都可以使用云监控的主机监控功能。目前云监控仅支持为Linux和Windows操作系统的主机安装插件。应用场景 您可以使用主机...
管理自定义监控大盘中的监控图表
当您使用了多款云产品时，可将相关云产品的监控项通过添加图表的形式添加在同一个监控大盘上，全局查看相关云产品的监控数据。前提条件 请确保您已创建监控大盘。具体操作，请参见 创建自定义监控大盘。背景信息 云监控默认为您提供ECS监控...
资源消耗
您可以查看当前账号的网络分析与监控、基础云监控和企业云监控的资源消耗情况，还可以开通或关闭他们的按量付费，购买网络分析与监控和基础云监控的资源包。背景信息 关于网络分析与监控、基础云监控和企业云监控的计费方式和计费标准，请...
开启或关闭弹性伸缩（仅Hadoop集群类型）
前提条件 已完成弹性伸缩的配置，详情请参见 配置弹性伸缩（仅Hadoop集群类型）。注意事项 当伸缩组内节点数为0时，您才可以关闭弹性伸缩。当伸缩组内节点不为0时，您需要先为伸缩组设置缩容规则或者修改最大实例数为0，直至伸缩组内节点...
云产品监控
您可以查看各云产品的监控图表，了解资源的运行状况。您也可以通过设置报警规则，帮助您监控资源的运行状况。当符合报警规则时，云监控自动发送报警通知，便于您及时获悉资源的运行状况。背景信息 在每个云产品监控页面，您可以查看的监控...
云盘
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集云盘的IOPS读取、IOPS写入、BPS读取和BPS写入等监控指标的监控数据，您还可以为这些监控指标设置报警规则。当某个监控指标达到报警条件时，会给您发送报警通知，以便您及时关注...
安装和卸载云监控插件
当您需要通过云监控采集主机操作系统层面的监控指标，并对重要监控指标设置报警规则，以便及时关注其动态时，需要为主机安装云监控插件。当您不再需要通过云监控来监控某台主机时，可以登录目标主机卸载云监控插件。本文为您介绍为主机自动...
开启秒级监控
秒级监控功能应用于对云产品的监控指标有高精度要求的监控场景。您可以一键开启目标云产品中指定监控指标的秒级监控功能。操作步骤 登录 云监控控制台。在左侧导航栏，选择 企业云监控>秒级监控。在 秒级监控 页面，打开目标云产品的 秒级...
- 产品推荐
- 这些文档可能帮助您