MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
漏洞公告|Apache Kafka Connect远程代码执行漏洞
登录集群的Master节点，并将上一步骤中下载的软件包放在hadoop用户的/usr/lib/目录下。登录集群详情，请参见 登录集群。执行以下命令，将安装包复制到worker-1-1节点。su-hadoop scp/usr/lib/kafka-2.12-2.4.1-1.1.5.tar.gz work-1-1:/tmp/...
使用EasyRec读取Hive表
将DataScience集群的所有公网IP地址，添加至Hadoop集群的安全组中，端口为10000和9000，详情请参见 添加安全组规则。修改 ml_on_ds 目录下的文件。上传获取到的 dsdemo*.zip 至DataScience集群的header节点。通过SSH方式连接DataScience...
使用场景
SCDN解决的问题 SCDN能够解决的问题如下：单纯使用CDN无法兼顾安全 CDN主要为用户提供内容加速能力，但是针对游戏、金融等易受攻击的业务场景，目前普通的CDN节点不具备抗攻击能力，节点被攻击会影响正常用户的访问，同时会影响用户体验和...
为RAM用户绑定多因素认证设备
您需要先在 用户安全设置 中，启用对应的 多因素认证手段，然后按照本文所述的方法绑定对应的多因素认证设备，才能使多因素认证生效。系统默认启用虚拟MFA和U2F安全密钥多因素认证方式，但您只能绑定两种中的一种。同时，可以再启用安全...
创建项目集群设置
DefaultUser String 否 hadoop 默认Linux提交用户，默认值为hadoop。DefaultQueue String 否 default 默认提交队列，默认值为default。UserList.N RepeatList 否 hadoop Linux提交用户白名单。QueueList.N RepeatList 否 queue1 队列白名单...
定期调度Jupyter中的作业
添加安全组规则，详情请参见 添加安全组规则。已绑定计算集群。注意 绑定集群页签下，仅显示同一个VPC下的EMR集群。仅支持绑定Hadoop集群。已添加用户，详情请参见 添加用户。已完成Notebook的编辑。您可以直接下载Notebook示例文件 ...
JindoDistCp使用说明
功能全量对齐S3 DistCp和HDFS DistCp，性能较HDFS DistCp有较大提升，致力于提供高效、稳定、安全的数据拷贝工具。环境要求 JDK 1.8.0及以上。Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version...
Web客户端漏洞类型
本文介绍常见的Web客户端安全漏洞。跨站脚本攻击（XSS）跨站脚本攻击（Cross Site Script，简称XSS）通常指黑客通过 HTML注入 方式篡改了网页并插入恶意脚本，从而在用户浏览网页时，控制用户浏览器的一种攻击行为。XSS漏洞可被用于用户...
测试环境
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 场景说明：使用自建Spark和DLA Spark分别访问自建Hadoop集群，运行Terasort 1 TB基准测试，对它们的耗时进行对比分析。DLA Spark+OSS配置如下：配置名称 ...
为RAM用户绑定MFA设备
您需要先在 用户安全设置 中，启用对应的 多因素认证手段，然后按照本文所述的方法绑定对应的多因素认证设备，才能使多因素认证生效。系统默认启用虚拟MFA和U2F安全密钥多因素认证方式，但您只能绑定两种中的一种。同时，可以再启用安全...
文件存储HDFS版
安全性 文件存储HDFS版具有文件系统标准权限控制、权限组访问控制和RAM用户等多种安全机制，从而保证文件系统数据安全万无一失。接口 文件存储HDFS版的SDK包含文件系统SDK和管控系统SDK。目前公测期间只提供文件系统SDK，管控操作则通过...
IoT安全运营中心（后付费）说明
收费范围：IoT安全运营中心 IoT安全运营中心是指IoT安全中心的一部分功能集合，包括：安全检测（除固件安全检测外）、安全合规、安全防护（除固件加固外）、安全分析。付费模式：后付费 IoT安全运营中心支持后付费，您可以通过“无代理、有...
YARN调度器
CapacityScheduler：是Apache Hadoop社区、HDP（Hortonworks Data Platform）及合并后CDP（Cloudera Data Platform）的默认调度器，具有最完善的多租户管理与资源调度能力，不仅包含了FairScheduler的全部能力，还能协调好整个集群的资源...
查询项目集群设置列表
DefaultUser String hadoop 默认提交用户。GmtCreate Long 1541561123000 创建时间。GmtModified Long 1541561123000 修改时间。HostList List"Host":["emr-header-1.cluster-500159692"客户端白名单列表。K8sClusterId String 无 保留字段...
SQOOP
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
应急响应服务
应急响应服务是由经验丰富的安全专家为您提供一对一专业的应急响应服务，在服务过程中使用规范的服务流程和项目管理流程，为您制定完整的安全解决方案，帮助您在最短的时间内使用最低的成本解决紧急安全事件。什么是应急响应服务 背景信息 ...
DataX
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请...
测试结果
1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时（min）DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用，自建Hadoop集群在高峰期需要...
身份管理
RAM用户相关操作 RAM用户管理 AK安全方案 RAM用户SSO管理 RAM用户组 当您的阿里云账号下有多个RAM用户时，可以通过创建用户组对职责相同的RAM用户进行分组管理和批量授权，实现高效地管理RAM用户及其权限。对于RAM用户组的使用，建议您：在...
访问链接与端口
重要 为防止被外部的用户攻击导致安全问题，授权对象 禁止填写为 0.0.0.0/0。在 安全组规则 页面，单击 手动添加。端口范围 填写为 8443/8443，授权对象 填写为 步骤1 中获取的公网访问IP地址。单击 保存。说明 如果集群的网络类型是 VPC，...
Ranger概述
Apache Ranger提供集中式的权限管理框架，可以对Hadoop生态中的HDFS、Hive和YARN等组件进行细粒度的权限访问控制，并且提供了Web UI方便管理员操作。Ranger组件介绍 Ranger主要由三个组件组成：Ranger Admin 您可以创建和更新安全访问策略...
管理手动任务
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
HIVECLI
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
功能特性
安全控制 文件存储 HDFS 版 具有文件系统标准权限控制、权限组访问控制和RAM用户认证等多种安全机制，从而保证文件系统数据安全万无一失。线性扩展 文件存储 HDFS 版 能够为应用负载提供高吞吐量、高IOPS及低时延的存储性能。同时，其性能...
通过命令行方式连接Trino
user hadoop：指定用于身份验证的用户名。执行如下命令，查看当前Catalog下的Schema。show schemas;可选：执行 quit;可以退出Presto命令行。高安全集群 通过SSH方式登录集群，详情请参见 登录集群。添加Principal并导出keytab文件。执行...
安全服务
阿里云安全管家服务是阿里云安全专家基于阿里云多年安全最佳实践经验为云上用户提供的全方位安全技术和咨询服务，为云上用户建立和持续优化云安全防御体系，保障用户业务安全。本文介绍安全管家提供的安全服务内容、服务流程等。什么是安全...
产品概述
增加EMR StarRocks Manager，提供了企业级的StarRocks管理能力：安全能力：支持用户及权限管理。诊断分析：支持可视化慢SQL，及SQL查询分析能力。数据管理：提供数据库、表、分区、分片、任务的查询能力，方便运维管理。
什么是SCDN
多系统联动：和阿里云其他产品形成多系统联动，与安全防御系统、刷新系统、内容管理系统等协调工作，达到各模块的最优性能。流量预测：数据化实时调度，支持节点级别流量预测，提升调度质量和准确性。访问控制 Refer防盗链：支持Refer黑白...
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
产品简介
增加EMR StarRocks Manager，提供了企业级的StarRocks管理能力：安全能力：支持用户及权限管理。诊断分析：支持可视化慢SQL，及SQL查询分析能力。数据管理：提供数据库、表、分区、分片、任务的查询能力，方便运维管理。
Spark访问OSS
以AccessKey ID和AccessKey Secret方式访问OSS，需要明文将AccessKey ID和AccessKey Secret写在配置中，存在一定的安全风险。因此建议您以StsToken的方式访问OSS。单击 一键授权，将当前云账号的OSS资源通过StsToken的方式授权给MaxCompute...
内容检测API
内容安全API支持使用RAM用户的AccessKeyID和AccessKeySecret，调用前需要授权RAM用户。更多信息，请参见 使用RAM用户调用内容安全API。内容安全图片审核支持的图片大小限制？内容安全图片审核要求图片大小限制为20 MB以内（含20 MB），高度...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
使用Hadoop作为元仓计算引擎进行元仓初始化
本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 Dataphin支持通过直连元数据库或Hive Metastore Service服务方式获取...
自定义图库
内容安全默认依据阿里巴巴全局风险图库为您提供检测服务，可以满足大部分的常规检测需求。为了使检测结果更贴合您的实际业务，内容安全也支持自定义图库。您可以使用自定义图库来管理需要针对性地拦截、放行、人工审核的图片，应对突发的...
创建EMR MR节点
强烈建议不要将AccessKey ID和AccessKey Secret保存到工程代码里或者任何容易被泄露的地方，AccessKey泄露会威胁您账号下所有资源的安全。以下代码示例仅供参考，请妥善保管好您的AccessKey信息。conf.set("fs.oss.accessKeyId","${...
- 产品推荐
- 这些文档可能帮助您