控制台操作指南
内容安全视频审核 增强版 服务，基于内容治理经验和众多行业场景的常见内容管理标准，为您预置了视频审核的通用策略配置，如果预置配置无法满足您的业务需求，您可以调整视频审核的策略。本文介绍如何调整视频审核的风险检测策略。应用场景...
控制台操作指南
内容安全图片审核 增强版 API，基于内容治理经验和众多行业场景的常见内容管理范围，已经为您预置了风险检测范围的细分范围的开关配置。首次使用时，建议您可以登录 控制台-规则管理 查看初始的检测范围开关配置。应用场景 当您的业务遇到...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
数据湖集群
因此数据湖集群对每一个节点组增加了最多两个附加安全组，从而可以精细化控制节点组出入端口的规则。另外，EMR数据湖集群将挂载公网功能移到了节点组，这样可以更好的搭配附加安全组实现精细化的对外开放公网的管理。Spark部署 数据湖集群...
JindoDistCp使用说明
功能全量对齐S3 DistCp和HDFS DistCp，性能较HDFS DistCp有较大提升，致力于提供高效、稳定、安全的数据拷贝工具。环境要求 JDK 1.8.0及以上。Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
处理挖矿程序最佳实践
开启恶意主机行为防御的操作入口如下所示：下图是被云安全中心自动拦截的挖矿程序告警详情页：提升主机安全性 重装系统：服务器被挖矿后，由于系统可能存在遗留的安全威胁，往往系统文件会被更改和替换，此时系统已经变得不可信，最好的...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
通过CDH5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
使用Hadoop作为元仓计算引擎进行元仓初始化
更开放：通过HMS服务查询metastore，只能使用metastoreclient提供的几种方法进行查询。而直接连接元数据库后，可以自由使用SQL进行查询。Hive Metastore Service服务 更安全：可以为metastore开启kerberos认证，客户端需要进行kerberos认证...
安装Spark单机版
关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*实例规格 ECS实例规格。请选用有效的实例规格。更多信息，请参见 实例规格族。ecs.c5.large 镜像ID ECS镜像ID，默认使用centos_7。更多信息，请参见 镜像概述。centos_7 ...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。背景信息 即席查询任务使用您当前...
X-Pack高级特性
Hadoop 插件扩展 数据存储 灵活性 数据类型 全文本搜索 文档数据库 时序/分析 地理空间 SECURITY 数据静态加密支持 字段级安全性 管理 集群式索引 数据快照和还原 汇总索引 搜索和分析 全文本搜索 倒排索引 跨集群搜索 相关性评分 查询DSL ...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
安装Spark集群版
关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*实例规格 ECS实例规格。请选用有效的实例规格。更多信息，请参见 实例规格族。ecs.c5.large 实例密码 ECS实例密码。Test_12*公网IP带宽值 公网IP带宽。取值范围：1~100。...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
HDFS Balancer
DataLake集群 tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log Hadoop集群 tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log 说明 命令中的 hadoop-hdfs-balancer-master-1-1.c-xxx.log 和 hadoop-hdfs-balancer-emr-header-xx....
安全加速SCDN的审计事件
DescribeScdnCcTopUrl 查询安全加速域名频次攻击URL信息。DescribeScdnCertificateDetail 查询证书详细信息。DescribeScdnCertificateList 查询证书列表信息。DescribeScdnDDoSAttackInfo 描述SCDN DDoS攻击信息。DescribeScdnDDoSInfo ...
插件配置概述
阿里云Elasticsearch支持20余款开源和自研Elasticsearch插件，能够提升集群在稳定性、查询和写入性能、分词查询、数据检索等各方面的能力。本文介绍阿里云Elasticsearch支持的系统默认插件和自定义插件。系统默认插件 系统默认插件为阿里云...
语音人工审核
接收失败时，内容安全将最多重复推送16次检测结果，直到接收成功。重复推送16次后仍未接收成功，则不再推送，建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串，该值用于回调通知请求中的签名。由英文字母、数字、下划线...
图片人工审核
接收失败时，内容安全将最多重复推送16次检测结果，直到接收成功。重复推送16次后仍未接收成功，则不再推送，建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串，该值用于回调通知请求中的签名。由英文字母、数字、下划线...
视频人工审核
接收失败时，内容安全将最多重复推送16次检测结果，直到接收成功。重复推送16次后仍未接收成功，则不再推送，建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串，该值用于回调通知请求中的签名。由英文字母、数字、下划线...
文本人工审核
接收失败时，内容安全将最多重复推送16次检测结果，直到接收成功。重复推送16次后仍未接收成功，则不再推送，建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串，该值用于回调通知请求中的签名。由英文字母、数字、下划线...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
审计配置
在使用 数据安全中心DSC（Data Security Center）提供的安全审计功能前，您需要先完成审计配置。DSC 根据您配置的审计模式采集审计日志，并根据已开启的审计规则上报审计告警。本文介绍如何进行审计配置。前提条件 已购买 DSC 企业版。具体...
异步检测
接收失败时，内容安全将最多重复推送16次检测结果，直到接收成功。重复推送16次后仍未接收成功，则不再推送，建议您检查callback接口的状态。seed String 否 aabbcc123 随机字符串，该值用于回调通知请求中的签名。由英文字母、数字、...
管理Hive Catalog
Flink网段的获取方法请参见 设置白名单，在Hive Metastore侧配置白名单的方法请参见 添加安全组规则。使用阿里云DLF作为Hive Catalog元数据中心 已开通阿里云DLF。如果您未开通阿里云DLF，请在 数据湖构建控制台 页面，单击 免费开通数据湖...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
成本
对象存储（OSS）是阿里云推出的存储服务，具备数据量大、成本低、安全性高、可靠性高的特点，能够满足多种场景的存储需求，存储成本低至 0.12元/GB/月。AnalyticDB PostgreSQL版 支持通过外表方式对OSS存储服务进行访问，支持对OSS的数据...
- 产品推荐
- 这些文档可能帮助您