SHOW
安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
SDK更新历史
本文介绍了内容安全SDK的更新历史记录。最新SDK版本：aliyun-java-sdk-green 3.6.5 最近更新时间：2021-04-14 上一个SDK版本：aliyun-java-sdk-green 3.6.4 单击查看历史版本文档。发布记录 发布时间 更新对象 版本 更新说明 2021-04-14 ...
DescribeRiskCheckResult-查询检查项检测结果
8 云盾-主机安全防护 6（基础安全防护）high ECS 检查 ECS 主机的云安全中心 Agent 是否持续在线，提供安全防护。12 OSS-Bucket 权限设置 4（数据安全）high OSS 检查 OSS 所有 Bucket 是否允许公共读写或公共读。公共读（public-read）、...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
SDK概述
说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
IoT安全运营中心（后付费）说明
设备通过IoT安全Agent从服务端获取/更新安全规则；设备通过任何形式向IoT安全服务端API发起服务请求；“单价”是指：实例中每增加1台活跃设备的收费标准：0.03元/台/天。重要 后付费生效后，企业实例的“安全检测”只能由用户手动启用，且...
JindoData版本说明
主要功能 阿里云OSS服务 JindoSDK Hadoop支持 为阿里云OSS提供了Java Hadoop SDK，完全兼容Hadoop OSS Connector，大幅提升了性能。支持多种Credential Provider设置方式，包括配置、ECS Role和EMR免密机制。支持写入时归档，包括归档和...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
SmartData常见问题
安全相关 使用JindoFS，会泄露AccessKey吗？什么是AccessKey免密？如果支持AccessKey免密，那如何区分不同的用户和权限限制？如何使用不同的AccessKey，通过JindoFS访问不同的OSS Bucket？在无EMR管控支持情况下，想使用自建的IDC集群，又...
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
E-MapReduce数据迁移方案
update：校验源文件和目标文件的checksum和文件大小，如果不一致源文件会更新掉目标集群数据，新旧集群同步期间还有数据写入，可以通过-update 做增量数据同步。delete：如果源集群数据不存在，新集群的数据也会被删掉。说明 迁移整体速度...
EMR-3.50.x版本说明
本文介绍EMR-3.50.x版本的发布日期、更新内容和发行版本信息。发布日期 版本 日期 EMR-3.50.0 2024年02月19日 更新内容 服务 变更点 Hudi 升级至0.14.0版本。Flume 升级至1.11.0版本。Kyuubi 升级至1.7.3版本。Impala 升级至4.3.0版本。...
Node Labels特性使用
使用YARN默认管理员hadoop账户执行 sudo su-hadoop#添加分区 yarn rmadmin-addToClusterNodeLabels"DEMO"yarn rmadmin-addToClusterNodeLabels"CORE"#列出YARN节点列表 yarn node-list#配置指定节点分区映射 yarn rmadmin-...
配置CDH6使用文件存储 HDFS 版
5425|5426|1849|org.apache.hadoop.mapred.TextInputFormat|hdfs:/cdh6-master:8020/tmp/tpcds-generate/2/catalog_returns|-1|org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat|5426|5427|1850|org.apache.hadoop.mapred....
总览
云安全中心提供云资产安全运营展示功能，帮助您全面了解云资产的安全情况，包括云资产的安全状态、安全评估结果、各种安全事件的实时监控和预警等。本文介绍云安全中心的安全总览信息。总览 总览页面从安全评分、安全风险、安全运营趋势...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
AK和账密防泄漏最佳实践
API凭证（即阿里云AccessKey）是用户访问内部资源最重要的身份凭证。用户调用API时的通信加密和身份认证会使用API凭证。API凭证是云上用户调用云服务API、访问云上资源的唯一身份凭证。API凭证相当于登录密码，只是使用场景不同。前者用于...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
背景信息以及准备工作
阿里云对象存储服务OSS（Object Storage Service），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。越来越多的用户倾向于把大量的日志文件存储在OSS中，DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障...
YARN调度器
CapacityScheduler：是Apache Hadoop社区、HDP（Hortonworks Data Platform）及合并后CDP（Cloudera Data Platform）的默认调度器，具有最完善的多租户管理与资源调度能力，不仅包含了FairScheduler的全部能力，还能协调好整个集群的资源...
作业配置指南
假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。spark.dla.job.attemptFailuresValidityInterval-1 作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要 如果作业尝试结束时间距离当前时间已经超过了指定的...
安全检查
如果您想对目标服务器进行漏洞、基线、网站后门检查以及采集其资产指纹数据，您可以使用安全检查功能。本文介绍如何对服务器进行安全检查。...一键安全检查结束后，检查结果会自动更新到云安全中心控制台该资产的详情页面。
使用EasyRec读取Hive表
将DataScience集群的所有公网IP地址，添加至Hadoop集群的安全组中，端口为10000和9000，详情请参见 添加安全组规则。修改 ml_on_ds 目录下的文件。上传获取到的 dsdemo*.zip 至DataScience集群的header节点。通过SSH方式连接DataScience...
创建DataFlow Kafka集群
附加安全组：您可以为该节点组关联最多2个附加安全组，附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。挂载公网：集群是否挂载弹性公网IP地址，默认不开启。说明 创建后如果您需要使用公网IP地址访问，请在ECS上申请开通公网...
术语表
请妥善保管AccessKey Secret，必须保密，如果存在泄露风险，请及时禁用或更新AccessKey。安全 MaxCompute提供多租户数据安全体系，主要包括用户认证、项目的用户与授权管理、跨项目的资源分享以及项目的数据保护。更多MaxCompute安全操作...
安全中心
EMR Workflow的安全中心支持管理集群、告警组和告警实例。本文为您介绍如何绑定集群、创建告警实例和告警组。前提条件 已创建集群，具体操作请参见 创建集群。绑定集群 说明 支持绑定的集群类型为DataLake、Hadoop和Custom。进入安全中心...
EMR-3.25.x版本说明
本文介绍EMR-3.25.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.25.0 2020年1月13日 新功能 Ranger服务：支持Ranger Presto操作。更新内容 服务 变更点 Ranger 初始化HA集群RangerAdmin数据库。修复RangerUserSync启动脚本时的...
代理接入
针对无法直接连接到云安全中心服务端的线下IDC（Internet Data Center）机房、混合云、阿里云VPC（Virtual Private Cloud）等业务场景，您可以通过设置代理服务器，将无法连接公网的服务器（包括主机、容器）接入云安全中心进行防护。...
什么是实时数仓Hologres
Hadoop生态集成 支持Hive/Spark Connector，通过Hadoop平台加工的数据可以高吞吐导入Hologres，并对外提供服务。支持加速读取外部表OSS-HDFS格式存储，支持Hudi、Delta等存储格式。达摩院Proxima向量检索 Hologres与 人工智能平台 PAI 紧密...
ALIYUN:EMR:Cluster
说明 ALIYUN:EMR:Cluster支持基于E-MapReduce产品的旧版API，支持旧版HADOOP、KAFKA、DRUID、ZOOKEEPER、DATA_SCIENCE、GATEWAY等早期的集群类型。ALIYUN:EMR:Cluster2支持基于E-MapReduce产品的新版API（2021-03-20），支持DATALAKE、OLAP...
2021年
2021-09-14 华南1金融云（深圳）无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，...
- 产品推荐
- 这些文档可能帮助您