Lindorm文件引擎
spark.hadoop.dfs.client.failover.proxy.provider.<dfs.nameservices>":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.<dfs.nameservices>":"nn1,nn2","spark.hadoop....
日志报表仪表盘
云安全中心日志报表页面为您集中展示网络日志、主机日志、安全日志相关的仪表盘数据。云安全中心日志分析功能开通后，系统为您自动创建报表仪表盘。您可以在 云安全中心控制台 检测响应>日志分析 页面，单击 日志报表 页签，查看日志报表...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
通过CDH5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
如何选择私网类产品？
每个VPN网关默认最多可支持10个连接，即购买一个VPN网关，就可以将10个不同地点的办公点连接起来。如下图所示，要将上海、杭州、宁波三个办公点连接起来，您只需要创建一个VPN网关，三个用户网关，建立三个IPsec连接即可。更多信息，请参见...
JindoDistCp使用说明
功能全量对齐S3 DistCp和HDFS DistCp，性能较HDFS DistCp有较大提升，致力于提供高效、稳定、安全的数据拷贝工具。环境要求 JDK 1.8.0及以上。Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version...
数据湖集群
因此数据湖集群对每一个节点组增加了最多两个附加安全组，从而可以精细化控制节点组出入端口的规则。另外，EMR数据湖集群将挂载公网功能移到了节点组，这样可以更好的搭配附加安全组实现精细化的对外开放公网的管理。Spark部署 数据湖集群...
什么是云连接器
云连接器（Cloud Connector）提供海量物联网卡一站式定向上云连接服务，即开即用，帮您实现物联网终端到阿里云之间安全、稳定、可靠的连接。云连接器通过专用APN在物联网终端和阿里云之间建立定向网络连接。您也可以通过云上组网，实现物...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
CI/CD概述
CI/CD原理 使用CI/CD功能无需您将镜像资产同步到云安全中心，只需要将CI/CD插件（即云安全中心镜像安全扫描插件）与Jenkins工具或GitHub集成，完成集成配置之后，当您在Jenkins工具或GitHub中构建项目时，会同时触发镜像安全扫描任务，扫描...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
基础设施安全
VPN网关是一种安全的网络连接方式，可以在公网环境下实现VPC和本地数据中心之间的安全连接。通过VPN网关，可以使用IPsec VPN和SSL VPN协议，实现站点到站点的安全连接和远程用户的安全接入。详细信息，请参见 什么是VPN网关。高速通道是一...
代理接入
针对无法直接连接到云安全中心服务端的线下IDC（Internet Data Center）机房、混合云、阿里云VPC（Virtual Private Cloud）等业务场景，您可以通过设置代理服务器，将无法连接公网的服务器（包括主机、容器）接入云安全中心进行防护。...
（可选）申请公网连接地址
MongoDB实例默认提供专有网络连接地址，通过专有网络连接MongoDB实例可以获取更高的安全性和连接性能。公网连接地址 由于通过公网连接实例存在一定的安全风险，MongoDB实例默认未提供公网连接地址。如果您要使用阿里云以外的设备（例如本地...
Dataphin集成任务同步失败报错："Operation category ...
问题描述 Dataphin集成任务运行失败...06],Description:[与HDFS建立连接时出现IO异常.].-org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException):Operation category READ is not supported in state standby.Visit ...
安全检测
本文介绍通过IoT安全中心对物联网设备进行持续性的安全检测。威胁 登录 产品控制台，在左侧菜单中选择 管理>安全检测。开启：运行检测任务，检测到风险后在常规>风险页面查看。关闭：停止运行检测任务。根据资产接入方式不同，您可以管理的...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
使用Hadoop作为元仓计算引擎进行元仓初始化
本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 Dataphin支持通过直连元数据库或Hive Metastore Service服务方式获取...
使用EasyRec读取Hive表
将DataScience集群的所有公网IP地址，添加至Hadoop集群的安全组中，端口为10000和9000，详情请参见 添加安全组规则。修改 ml_on_ds 目录下的文件。上传获取到的 dsdemo*.zip 至DataScience集群的header节点。通过SSH方式连接DataScience...
Hadoop使用JindoSDK访问OSS-HDFS服务
vim/etc/profile export HADOOP_HOME=usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH source/etc/profile 更新Hadoop配置文件中的 HADOOP_HOME。cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
通过MySQL协议访问实例
注意事项 开启安全访问代理的安全协同实例受安全规则的限制，系统规定单次查询数据最多返回100000行数据。设置单次查询最大返回行数 前往DMS 安全与规范>安全规则>安全访问代理 中设置单次查询最大返回行数。说明 若希望避免安全规则的限制...
Hive连接方式
方式一：通过Hive客户端连接Hive 普通集群 hive 高安全集群 执行如下命令进行认证。kinit-kt/etc/ecm/hive-conf/hive.keytab hive/<主节点的节点名称>.cluster-xxx@EMR.xxx.COM 您也可以通过用户管理功能创建用户，在连接Beeline前使用 ...
跨账号VPC间的私网访问服务
您可以通过私网连接建立VPC与阿里云服务之间安全稳定的私有连接，简化网络架构，避免通过公网访问服务带来的潜在安全风险。通过私网连接实现私网访问，您需要创建终端节点服务和终端节点。终端节点服务 终端节点服务可以与其他VPC的终端...
创建和管理终端节点
背景信息 私网连接 能够实现 VPC 与终端节点服务之间建立安全稳定的私有连接，避免通过公网访问服务带来的潜在安全风险。支持连接的终端节点服务包括阿里云服务、其他终端节点服务和该账号下的可用终端节点服务。什么是阿里云服务和其他...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
Hive
您可以前往 ECS管理控制台-网络与安全-安全组 按照专有网络（VPC）ID搜索该VPC下的安全组，任意选择一个安全组ID即可。如果您的Hive服务有 白名单 控制，需要您将交换机网段加入到您Hive服务的 白名单 中。操作步骤 如果您的Hive元数据使用...
JindoFS介绍和使用
此模式不改变文件或对象在OSS上的组织方式，文件还是保存在OSS上，JindoFS只是提供面向Hadoop生态的客户端连接、扩展、适配和优化访问。您可以使用此模式，上传JindoFS SDK的JAR包至组件的 classpath 目录，简单易用，无需部署分布式服务。...
SHOW
安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，...
SHOW
安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
通过办公安全平台保障飞书用户安全访问
建立办公安全平台与飞书的连接，使您的企业用户直接以飞书账号登录办公安全平台，方便您在办公安全平台管控飞书用户的访问权限，从而保障企业的办公数据安全。本文介绍如何建立办公安全平台与飞书的连接。前提条件 已开通 办公安全平台，并...
（可选）申请公网连接地址
云数据库MongoDB支持公网连接地址，您可以为实例申请公网连接地址用于使用公网连接云数据库MongoDB实例的场景。本文介绍为云数据库MongoDB分片集群实例申请公网连接地址的方法。背景信息 云数据库MongoDB实例支持的连接地址类型及对应说明...
多站点连接
每个VPN网关最多可支持10个连接，即购买一个VPN网关，就可以将10个不同地点的办公点连接起来。如下图所示，要将上海、杭州、宁波三个办公点连接起来，您只需要创建一个VPN网关，三个用户网关，建立三个IPsec连接即可。结合VPC对等连接和VPN...
通过PrivateLink跨VPC私网访问NLB
您可以通过私网连接建立VPC与阿里云服务之间安全稳定的私有连接，简化网络架构，避免通过公网访问服务带来的潜在安全风险。通过私网连接实现私网访问，您需要创建终端节点服务和终端节点。终端节点服务 终端节点服务可以与其他VPC的终端...
通过PrivateLink跨VPC私网访问ALB
您可以通过私网连接建立VPC与阿里云服务之间安全稳定的私有连接，简化网络架构，避免通过公网访问服务带来的潜在安全风险。通过私网连接实现私网访问，您需要创建终端节点服务和终端节点。终端节点服务 终端节点服务可以与其他VPC的终端...
无法远程连接Windows实例的排查方法
无法远程连接Windows实例的原因较多，请您根据实际情况，通过相应的排查方法，排查并解决无法远程连接Windows实例的问题。本文主要介绍无法远程连接Windows实例的处理方法。快速登录Windows实例 如果您遇到紧急情况，需要尽快登录Windows...
通过Spark SQL读Lindorm数据
参数 是否必填 说明 spark.adb.connectors 是 启用AnalyticDB MySQL版Spark内置的连接器，连接器名称以逗号分隔，目前可选的连接器有oss、hudi、delta、adb、odps、external_hive。本文示例为 oss,external_hive 连接器。spark.adb.eni....
Iceberg连接器
本文为您介绍Iceberg连接器相关的内容和操作，具体如下：配置Iceberg连接器 示例：查询Iceberg表数据 SQL语法 分区表 按分区删除 回滚 系统表和列 Iceberg表属性 物化视图 前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，...
- 产品推荐
- 这些文档可能帮助您