基线检查
标准策略 企业版 旗舰版 该类型策略包含120+基线检查项，支持以下基线类型：Windows基线 未授权访问 等保合规 最佳安全实践 基础防护安全实践 国际通用安全最佳实践 弱口令 Linux基线 未授权访问 等保合规 最佳安全实践 容器安全 国际通用...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
EdgeScript场景示例
对应的EdgeScript规则#鉴权类型的判断 if eq(substr($uri,-3,-1),'.ts'){#参数是否存在判断 if or(not($arg_t),not($arg_key)){ add_rsp_header('X-AUTH-MSG','auth failed-missing necessary arg')exit(403)}#是否为数字判断 t=tonumber($...
EdgeScript场景示例
对应的EdgeScript规则#鉴权类型的判断 if eq(substr($uri,-3,-1),'.ts'){#参数是否存在判断 if or(not($arg_t),not($arg_key)){ add_rsp_header('X-AUTH-MSG','auth failed-missing necessary arg')exit(403)}#是否为数字判断 t=tonumber($...
EdgeScript场景示例
对应的EdgeScript规则#鉴权类型的判断 if eq(substr($uri,-3,-1),'.ts'){#参数是否存在判断 if or(not($arg_t),not($arg_key)){ add_rsp_header('X-AUTH-MSG','auth failed-missing necessary arg')exit(403)}#是否为数字判断 t=tonumber($...
客户端进程说明
您可以通过查看进程状态，判断安全防护能力是否生效。本文提供云安全中心客户端文件和进程的详细说明。进程说明 云安全中心客户端的进程在Linux系统的服务器上以 root 账号运行，在Windows系统的服务器上以 SYSTEM 账号运行。下表介绍云...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
安全规则DSL语法
DMS定义了一套领域专用语言DSL（Domain Specific Language）用来描述安全规则。DSL语法非常灵活，理论上可以表述任意安全规则，从而帮助不同企业定义符合自己的研发规范。DSL语法概述 DSL语法非常简单，由分支判断（IF-ELSE）、条件和动作...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
SHOW
CREATE TABLE IF NOT EXISTS doc_test_dev.sale_detail(shop_name STRING,customer_id STRING,total_price DOUBLE)PARTITIONED BY(sale_date STRING,region STRING)STORED AS ALIORC;查看项目下所有的表、外部表、视图和物化视图，或符合某...
SHOW
CREATE TABLE IF NOT EXISTS doc_test_dev.sale_detail(shop_name STRING,customer_id STRING,total_price DOUBLE)PARTITIONED BY(sale_date STRING,region STRING)STORED AS ALIORC;查看项目下所有的表、外部表、视图和物化视图，或符合某...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
代码示例
执行任务B前需要判断OSS中是否已经存在文件 data.txt，此时您可以使用OSS Sensor，建立任务B依赖于Sensor A的依赖关系，如果Sensor A检测到OSS中存在 data.txt 文件，则执行任务B。示例：本示例中Sensor1先检测OSS中的目录 airflow/dags/...
共享集群（OSS数据湖加速）
进一步扩展了数据湖加速的服务能力和边界，使Hologres可以与Hadoop生态计算引擎无缝集成，加速读写存储于HDFS上的数据，大幅提升Hadoop生态数据实时分析的效率，更好地满足大数据和AI等领域的数据湖联邦、实时分析诉求。Hologres从V2.1.6...
客户端加密
OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。免责声明 使用客户端加密功能时，您需要对主密钥的完整性和正确性负责。因您维护不当导致主...
MapReduce模型
相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入大数据平台，且无额外存储及计算成本，即可实现秒级别海量数据处理，具有成本低、速度快、编程简单等特性。注意事项 单个子任务的大小不能超过64 KB。...
MapReduce模型
相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入大数据平台，且无额外存储及计算成本，即可实现秒级别海量数据处理，具有成本低、速度快、编程简单等特性。注意事项 单个子任务的大小不能超过64 KB。...
漏洞管理常见问题
云安全中心通过匹配您服务器上的系统软件版本和存在漏洞（CVE漏洞）的软件版本，判断您的服务器是否存在软件漏洞。因此，您可以通过以下方式查看当前软件版本的漏洞信息：在云安全中心中查看当前软件版本及漏洞信息 您可以在 云安全中心...
使用Druid
header-1.cluster-5678 iZbp10tx4egw3wfnh5o*安全Hadoop集群，请按如下操作进行：确保集群间能够通信（两个集群在一个安全组下，或两个集群在不同安全组，但两个安全组之间配置了访问规则）。在E-MapReduce Druid集群的每个节点的指定路径...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
网络开通流程
为Hadoop集群的安全组配置如下信息，确保MaxCompute可以访问Hadoop集群。安全组配置内容如下：配置Hadoop集群所在安全组的入方向访问规则。授权对象为ENI所在的安全组，即步骤2中创建的安全组。HiveMetaStore端口：9083。HDFS NameNode端口...
产品功能
本文汇总了关于内容安全服务功能相关的常见问题。内容安全用户提交的图片、视频、文本等信息，审核后是否会删除？内容安全有哪些功能特性？什么是内容安全自定义文本库？能否自定义内容安全图片违规的配置？如何设置内容安全的自助审核功能...
应用白名单
云安全中心支持应用白名单的功能，可防止您服务器上有未经过认证或授权的程序运行，为您提供可信的资产运行环境。本文介绍如何使用应用白名单功能。使用前须知 应用白名单为公测功能，目前已不再支持申请该功能。已申请并正在使用中的用户...
图片审核增强版接入指南
} } } 对本地图片进行检测 使用场景 当您需要审核的图片在本地机器且无公网访问链接，您可以将图片上传到内容安全提供的对象存储OSS Bucket中，图片审核 增强版 服务可直接访问对象存储OSS，获取到图片内容后进行审核。安装Java SDK。安装...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
数据湖集群
因此数据湖集群对每一个节点组增加了最多两个附加安全组，从而可以精细化控制节点组出入端口的规则。另外，EMR数据湖集群将挂载公网功能移到了节点组，这样可以更好的搭配附加安全组实现精细化的对外开放公网的管理。Spark部署 数据湖集群...
JindoDistCp使用说明
功能全量对齐S3 DistCp和HDFS DistCp，性能较HDFS DistCp有较大提升，致力于提供高效、稳定、安全的数据拷贝工具。环境要求 JDK 1.8.0及以上。Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version...
流程控制函数
e_if(e_has("a"),e_output("target-a"),e_has("b"),e_output("target-b"),)例如，该加工规则相当于以下Python代码结构：if e_has("a"):e_output("target-a")if e_has("b"):e_output("target-b")支持和其他函数组合使用。相关示例，请参见 ...
处理挖矿程序最佳实践
开启恶意主机行为防御的操作入口如下所示：下图是被云安全中心自动拦截的挖矿程序告警详情页：提升主机安全性 重装系统：服务器被挖矿后，由于系统可能存在遗留的安全威胁，往往系统文件会被更改和替换，此时系统已经变得不可信，最好的...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
语法简介
条件判断：条件判断e_if：某些日志可以增加条件判断，不满足条件的日志就会跳过本次操作，相当于一个 if 的逻辑。例如 e_if(e_match("status","200"),e_regex("data","ret:\d+","result"))，会首先判断字段 status 是否为 200，如果条件...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
Lindorm文件引擎
spark.hadoop.dfs.client.failover.proxy.provider.<dfs.nameservices>":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.<dfs.nameservices>":"nn1,nn2","spark.hadoop....
- 产品推荐
- 这些文档可能帮助您