背景信息以及准备工作
阿里云对象存储服务OSS（Object Storage Service），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。越来越多的用户倾向于把大量的日志文件存储在OSS中，DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障...
错误反馈
如果您使用RAM用户调用内容安全，需要对RAM用户授权；如果您尚未开通内容安全，请先登录内容安全服务 开通页面 先开通服务。更多信息，请参见 使用RAM用户调用内容安全API。为什么调用OCR识别同步检测时报错：AlgorithmTimeOut或者图片发生...
概述
本文介绍阿里云各类存储服务及特性的适用场景、性能、安全、接口和费用模型等，帮助您选择最适合您业务场景和需求的云存储服务。有关阿里云存储服务的详细介绍、客户案例、解决方案等，请参见 阿里云存储产品家族。对象存储OSS 对象存储OSS...
Spark应用配置参数说明
假设配置为3，则这个应用在一个滑动窗口期时间内最多尝试3次。spark.adb.attemptFailuresValidityInterval 否 Integer.MAX 重试计数的滑动窗口时间，单位：秒（s）。假设配置为6000，那么当一次重试失败后，系统会计算过去6000s共进行了...
登录集群
选择 Connection>SSH>Auth，在最下面一个配置项 Private key file for authentication 中，单击 Browse，选择转化后的密钥文件。单击 Session，在 Host Name(or IP address)下的输入框中，输入登录账号和主节点公网IP地址。格式为 emr-user...
2023年
Paimon外部表 2023-09-14 新增授权实践 新说明 为确保MaxCompute项目数据的安全性，项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控，确保权限不会过大也不会过小。本文为您介绍MaxCompute的权限管理案例。授权实践 ...
2022年
新说明 MaxCompute支持通过使用阿里云的访问控制RAM（Resource Access Management）服务授权，将您云账号下MaxCompute资源的访问及管理权限授予RAM用户和RAM角色，按需为用户分配最小权限，从而降低企业的信息安全风险。本文为您介绍...
自助建站方式汇总
搭建Hadoop环境 Hadoop是一款由Apache基金会用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。环境类型 部署方式 说明 搭建Hadoop环境 手动搭建...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...
项目管理
在开启安全模式的项目中提交作业时，阿里云账号以默认hadoop用户执行，RAM用户则默认以当前RAM用户同名的EMR用户执行作业。进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
用户配置
为了保障系统的安全，堡垒机提供用户登录方式、用户锁定和用户状态配置功能。您可以配置用户SSH登录堡垒机时仅可使用密钥认证；配置用户密码的锁定策略，防止用户密码被暴力破解；配置用户状态，管理用户密码的有效期、标记长期未登录用户...
服务内容
云产品策略调优指导 云安全产品问题咨询 安全风险评估 针对云上整体安全性进行评估，通过对云上几大风险和暴露面进行分析，帮助用户发现云上安全风险。安全运营能力评估 通过访谈、调查等方式对安全成熟度进行评估，并给出安全建设建议。...
风险评估服务
风险评估服务是通过云上运行的信息系统开展全面的资产识别、威胁识别与分析以及脆弱性识别与分析，从云基础设施、云上安全设施、云上数据、监控审计措施、应用等方面进行整体安全性评估。通过对云上资产开展全面的风险评估活动或者主机、...
开发准备
支持RAM用户 内容安全服务的内容检测API支持使用RAM用户的AccessKeyID和AccessKeySecret。您可以参照以下步骤，创建RAM用户并完成授权：登录 RAM控制台，创建RAM用户，并选择生成AccessKeyID和AccessKeySecret。具体操作，请参见 创建RAM...
【通知】停止通过短信、邮件向免费版用户发送告警通知
尊敬的阿里云用户：由于产品优化调整，云安全中心将于北京时间2023年02月14日停止通过短信、邮件方式向免费版用户发送 安全告警通知，仅对免费用户保留 站内信 的通知方式，其他版本用户不受影响。免费版用户可以通过登录 云安全中心控制台...
Node Labels特性使用
重要 自定义的分布式路径必须确保文件系统服务正常且hadoop用户能正常读写访问，否则ResourceManager会启动失败。添加节点分区映射时为什么不指定NodeManager端口？EMR集群一个节点上最多只有一个NodeManager进程，所以指定端口没有太大的...
《计算机信息网络国际联网安全保护管理办法》（公安部...
2005年06月02日 来源：公安部（1997年12月11日国务院批准1997年12月30日公安部发布）第一章 总则 第一条 为了加强对计算机信息网络国际联网的安全保护，维护公共秩序和社会稳定，根据《中华人民共和国计算机信息系统安全保护条例》、《中华...
功能特性
云安全中心针对公共云、多云环境、云外服务器和容器环境提供多方位的安全检测和防护能力。为满足不同场景下的安全需求，提供了 免费版、防病毒版、高级版、企业版 和 旗舰版 多个版本和增值服务。本文介绍云安全中心支持的功能及各版本的...
内网安全运维最佳实践
背景信息 随着用户业务安全需求的提升，业务的纯内网访问成为企业中关键的安全要求，运维人员无论在公司还是出差办公、居家办公等远程运维场景下，如何限制仅能使用内网进行运维访问，保障运维安全成为关键问题。解决方案 为满足用户纯内网...
设置安全消息接收人的最佳实践
步骤一：在消息中心设置安全消息接收人 订阅站内信、邮箱、短信的安全消息 添加联系人作为安全消息的消息接收人，该联系人根据通知方式，可以接收来自邮件、短信 或站内信渠道的安全通知提醒。登录 阿里云消息中心。在左侧导航栏，选择 ...
什么是安全管家
提高安全运营资源的投入产出比 场景描述 安全运营资源不足包括云安全产品运营专业人员不足、基础服务运营人员和企业用户安全运营资金投入不足。在传统模式下，用户需要投入大量的安全专业人才来确保安全运营工作的顺畅，但随着资产规模的变...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
Hadoop使用JindoSDK访问OSS-HDFS服务
对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。关于OSS-HDFS服务的应用场景、服务特性、功能特性等更多信息，请参见 什么是OSS-HDFS服务。步骤一：创建专有...
管理引导操作
使用限制 您最多可以添加10个引导操作。添加的引导操作会按照您指定的顺序执行。您指定的脚本默认使用root账户执行，您也可以在脚本中使用 su-hadoop 命令，切换为hadoop用户执行。添加引导操作 添加引导操作支持以下两种方式。方式一：...
网络开通流程
spark.hadoop.odps.cupid.eni.enable=true spark.hadoop.odps.cupid.eni.info=regionid:vpc id 白名单 如果用户服务端有访问控制，需要将创建专线网络连接的安全组添加进服务端白名单。访问部分阿里云服务 适用于通过MaxCompute SQL、UDF、...
安全中心
EMR Workflow的安全中心支持管理集群、告警组和告警实例。本文为您介绍如何绑定集群、创建告警实例和告警组。前提条件 已创建集群，具体操作请参见 创建集群。绑定集群 说明 支持绑定的集群类型为DataLake、Hadoop和Custom。进入安全中心...
什么是OSS-HDFS服务
对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。功能特性 功能特性 说明 参考文档 回收站 当您从OSS-HDFS服务误删除文件时，文件不会立即被彻底删除，而是转...
Lindorm文件引擎
spark.dla.eni.security.group.id<您的安全组ID>访问用户VPC网络所需要的安全组ID。spark.dla.eni.vswitch.id<您的交换机ID>访问用户VPC网络所需要的交换机ID。spark.hadoop.dfs.nameservices 取值来源于步骤2中一键生成的 hdfs-site 配置...
写入文件提示无法满足最小写入副本要求
如果连通的命令长时间或超时不返回信息，则可通过以下命令，检查NameNode节点和DataNode节点是否在同一安全组下。hadoop dfs-ls/检查DataNode服务是否启动。登录DataNode服务所在节点，请参见 登录集群。切换到hdfs用户。su-hdfs 执行以下...
选择付费方式
Hadoop用户上云迁移的付费方式。某个Hadoop集群可能有1个管控节点以及5台计算节点，每台机器32核，相当于是32个CPU，5台计算节点就是160个CPU，对应标准的官方报价是每个月 24000元（此价格未包含折扣或者优惠）。MaxCompute无需考虑管控...
Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS...
介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin/目录下。该目录下会区分生产和开发环境，/tmp/dataphin/环境/项目Id/resourceName。适用于 Dataphin 说明：本文适用于独立部署v3.5.6版本通用研发模块。
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
开启权限认证
drwxrwx-x+-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
Spark常见问题
本文为您介绍使用Spark过程中的常见问题。...val conf=new SparkConf().setAppName("jindo-sdk-demo")#配置云服务角色鉴权#${aliyun-uid}是阿里云用户UID#${role-name}是角色名称.set("spark.hadoop.fs.jfs.cache.oss.credentials.provider",...
附件四：常见漏洞危害及定义（先知计划）
Web服务端漏洞 SQL注入攻击 名词解释：SQL注入攻击（SQL Injection），简称注入攻击、SQL注入，被广泛用于非法获取网站控制权，是发生在应用程序的数据库层上的安全漏洞。由于在设计程序时，忽略了对输入字符串中夹带的SQL指令的检查，被...
DescribeRiskCheckResult-查询检查项检测结果
API 凭证（即阿里云 AccessKey）是用户访问内部资源最重要的身份凭证。为了避免不慎泄露 AccessKey 造成的恶劣影响，建议在云安全中心开启 AK 泄漏检测。14 MongoDB-白名单配置 2（网络访问控制）high MongoDB 检查云数据库 MongoDB 实例...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
- 产品推荐
- 这些文档可能帮助您