目录和文件访问权限
更多有关Hadoop权限模型的信息，请参见 HDFS Permissions Guide。操作/Dir1/Dir2/file 创建目录/Dir1-WX-创建目录/Dir1/Dir2-X-WX-创建文件/Dir1/Dir2/file-X-X-WX-读打开/Dir1/Dir2/file-X-X-X R-写打开/Dir1/Dir2/file-X-X-X-W-删除目录/...
账号权限
PolarDB利用这种权限体系来构建数据库操作类型，实现了访问控制模型，并更有效地保障了云数据库的权限安全。高权限用户拥有如下权限：账号类型 权限 高权限账号 创建数据库。详情请参见 创建数据库。创建插件。详情请参见 插件。创建权限不...
账号权限
PolarDB利用这种权限体系来构建数据库操作类型，实现了访问控制模型，并更有效地保障了云数据库的权限安全。高权限用户拥有如下权限：账号类型 权限 高权限账号 创建数据库。详情请参见 创建数据库。创建插件。详情请参见 插件。创建权限不...
使用Druid
header-1.cluster-5678 iZbp10tx4egw3wfnh5o*安全Hadoop集群，请按如下操作进行：确保集群间能够通信（两个集群在一个安全组下，或两个集群在不同安全组，但两个安全组之间配置了访问规则）。在E-MapReduce Druid集群的每个节点的指定路径...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
基线检查
标准策略 企业版 旗舰版 该类型策略包含120+基线检查项，支持以下基线类型：Windows基线 未授权访问 等保合规 最佳安全实践 基础防护安全实践 国际通用安全最佳实践 弱口令 Linux基线 未授权访问 等保合规 最佳安全实践 容器安全 国际通用...
JindoDistCp使用说明
功能全量对齐S3 DistCp和HDFS DistCp，性能较HDFS DistCp有较大提升，致力于提供高效、稳定、安全的数据拷贝工具。环境要求 JDK 1.8.0及以上。Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
DataWorks On EMR使用说明
DataWorks提供DLF可视化权限申请、权限审批及权限审计等功能，可实现数据湖全托管的统一权限管理，当EMR已将DLF设置为元数据服务时，您可以在DataWorks安全中心进行数据权限申请与控制，详情请参见 DLF数据访问权限控制。二、功能模块权限...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
日志类别及字段说明
查看云安全中心日志可以帮您及时发现、调查和响应安全事件。购买日志分析存储容量后，云安全中心默认开启了安全日志、网络日志、主机日志，分别记录系统中的安全事件、网络流量情况和主机的活动。本文介绍云安全中心支持的日志类型以及每种...
SHOW
查询权限信息 查询用户、角色、对象等的权限信息。优化器信息收集 测试Column Stats收集结果。SET操作 显示set命令设置的属性。命令格式如下：show flags;说明 更多关于SET操作的介绍，请参见 SET操作。Tunnel操作 显示历史记录。命令格式 ...
SHOW
查询权限信息 查询用户、角色、对象等的权限信息。优化器信息收集 测试Column Stats收集结果。SET操作 显示set命令设置的属性。命令格式如下：show flags;说明 更多关于SET操作的介绍，请参见 SET操作。Tunnel操作 显示历史记录。命令格式 ...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
创建DataFlow Kafka集群
附加安全组：您可以为该节点组关联最多2个附加安全组，附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。挂载公网：集群是否挂载弹性公网IP地址，默认不开启。说明 创建后如果您需要使用公网IP地址访问，请在ECS上申请开通公网...
客户案例
客户需求 存在Hadoop1.0、2.0两个集群，技术架构复杂，平台的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈。日志来源渠道多，实时性要求高，基于fluentd的文件采集服务，随着日志量的增多，性能、稳定性存在明显瓶颈。“人肉脚本”的...
2022年
本文为您介绍了MaxCompute 2022年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2022年12月更新记录 时间 特性 类别 ...
逻辑视图和字段资产详情
表结构：包括 字段详情、描述、数据类型、关联标准（需购买数据标准模块）、数据分类（需购买安全模块）、数据分级（需购买安全模块）、热度 信息，同时您可以在 操作 列下单击 图标，查看指定字段的血缘关系。数据预览：若有当前表的查询...
逻辑视图和字段资产详情
表结构：包括 字段详情、描述、数据类型、关联标准（需购买数据标准模块）、数据分类（需购买安全模块）、数据分级（需购买安全模块）、热度 信息，同时您可以在 操作 列下单击 图标，查看指定字段的血缘关系。数据预览：若有当前表的查询...
Spark常见问题
资源可以多个项目共享，建议您设置相关权限确保数据安全。示例如下。spark.hadoop.odps.cupid.resources=projectname.xx0.jar,projectname.xx1.jar 如何通过Spark传入参数？传参详情请参见 Spark on DataWorks。如何将Spark流式读取的...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
开启权限认证
HDFS开启了权限控制后，当您访问HDFS时需要有合法的权限才能正常操作HDFS，例如读取数据和创建文件夹等。本文为您介绍如何开启HDFS的权限控制。背景信息 Hadoop提供了以下两种用于决定用户身份的操作模式：简单模式（Simple）：用户的身份...
新建账号
安全管理员：拥有资产安全模块的最高权限，包括安全策略的制定和修改，以及后续的安全审计权限。质量管理员：拥有创建数据表、数据源等资源的质量规则的权限，查看生成的数据质量报告。跨租户发布使用人：拥有跨租户发布数据的操作权限。...
自定义权限策略参考
操作文档 创建自定义权限策略 修改自定义权限策略内容和备注 删除自定义权限策略 管理权限策略引用记录 管理自定义权限策略版本 自定义权限策略示例 示例1：IP白名单权限策略配置 输入IP白名单权限策略内容。例如，只允许192.0.2.0/24的IP...
添加Dataphin成员
安全管理员：拥有资产安全模块的最高权限，包括安全策略的制定和修改，以及后续的安全审计权限。质量管理员：拥有创建数据表、数据源等资源的质量规则的权限，查看生成的数据质量报告。跨租户发布使用人：拥有跨租户发布数据的操作权限。...
角色权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Quick BI提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Quick BI支持的用户和角色、权限体系、角色和权限映射表，...
集群存储根路径没有权限，导致集群服务启动失败的问题
dir)hadoop fs-mkdir-p$STAGING_DIR hadoop fs-chmod 777$STAGING_DIR hadoop fs-chown hadoop:hadoop$STAGING_DIR hadoop fs-mkdir-p$STAGING_DIR/history hadoop fs-chmod 775$STAGING_DIR/history hadoop fs-chown hadoop:hadoop$...
用户角色和权限
安全管理员 拥有资产安全模块的最高权限，包括安全策略的制定和修改，以及后续的安全审计权限。说明 鉴于数据安全的敏感性，超级管理员和系统管理员不支持修改安全策略。质量管理员 拥有创建数据表、数据源等资源的质量规则的权限，查看...
用户角色和权限
安全管理员 拥有资产安全模块的最高权限，包括安全策略的制定和修改，以及后续的安全审计权限。说明 鉴于数据安全的敏感性，超级管理员和系统管理员不支持修改安全策略。质量管理员 拥有创建数据表、数据源等资源的质量规则的权限，查看...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
使用E-Mapreduce访问
{实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp hdfs:/${实例ID}/hadoop distcp/user hdfs:/${实例ID}/修改目录权限。...
快捷模式与安全模式差异比对
说明 Hadoop用户拥有Hadoop集群的所有权限，请谨慎授权。适用于对任务执行者数据权限无强管控要求的工作空间。安全模式 用于实现更具安全性的数据权限管理。使用该模式绑定EMR引擎时，阿里云主账号或RAM用户在下发代码的同时，DataWorks会...
安全中心
通过安全中心可以申请什么权限？数据管理和安全中心是什么关系？为什么在申请时，有时可以选择字段，有时不可以选择？提交申请后，需要谁进行审批？为什么提交了一个申请，在我的申请中却看到两个申请单？为什么有的字段只申请1个月权限，...
- 产品推荐
- 这些文档可能帮助您