管理节点组
Hadoop、Data Science和EMR Studio集群节点组的管理操作，请参见 管理节点组（Hadoop、Data Science和EMR Studio集群）。使用限制 本文操作仅适用于数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing...
静态列（static column）实战
通常来说，用户的基本信息一般很少会变动，但是用户状态会经常变化，如果每次状态更新都把用户基本信息都加进去，将浪费大量的存储空间。为了解决这种问题，Cassandra 引入了 static column。同一个 partition key 中被声明为 static 的列...
常见问题
如果存在这种情况，Trino创建完成后可能报错，此时可按照以下方式处理：JindoSDK单独进行过升级时，尤其是进行过跨大版本的更新时，需重新执行Presto或Trino相关的升级脚本，手动将升级后的JindoSDK复制到Trino安装路径的对应连接器下。...
EMR-4.8.x版本说明
本文介绍EMR-4.8.x发行版本的发布日期和更新内容信息。发布日期 EMR-4.8.0 2021年3月15日 更新内容 服务 变更点 SmartData 升级至3.4.0版本。版本详情，请参见 SmartData 3.4.x版本简介。Spark 优化了部分默认配置。性能优化：支持Window ...
配置堡垒机
配置安全组 通过配置安全组，可允许堡垒机访问该安全组内的服务器。登录 堡垒机控制台。在左侧导航栏，单击 实例。在 实例 页面，定位到目标堡垒机实例，选择 配置>安全组。在 网络设置 面板，选择ECS对应的安全组，单击 下一步。说明 支持...
常见问题
造成服务不稳定的情况可能有很多，最常见的情况是znode数量过大或者snapshot过大，由于ZooKeeper将所有的znode维护在内存中，并且需要在节点间进行数据同步，因此过大的znode数量或者容量会对服务稳定性造成影响。ZooKeeper的定位是一个...
EMR-4.5.x版本说明
本文介绍EMR-4.5.x发行版本的发布日期和更新内容等信息。EMR-4.5.1 发布日期 2020年12月13日 更新内容 该版本修复了Hive和Presto查询分区表的问题。该版本目前只支持部分地域，包括华东1（杭州）、华东2（上海）和华北2（北京）。EMR-4.5.0...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
基于RAM，您可按最小够用原则给角色授权，做到权限最小化，这样可以将安全风险降到最低。提高用户体验。尤其在交互式访问OSS资源时，可避免让您输入一长串的OSS路径。EMR自带服务 EMR自带服务中运行的作业均可以自动基于MetaSerivce服务免...
错误反馈
解决方法：请检查您的链接地址是否安全，或者排查您的IP地址是否在如下内网网段中（内容安全服务需要使用公网IP）：10.0.0.0/8 11.0.XX.XX/8 100.64.0.0/10 172.16.0.0/12 192.168.0.0/16 127.0.0.1/32 33.0.XX.XX/8 为什么调用API时返回...
容器资产管理
云安全中心具备针对容器安全的一体化防护能力，支持针对容器的漏洞、配置合规、攻击入侵等行为进行实时的检测和防御。将容器资产接入云安全中心后，您可以通过云安全中心统一管理容器资产。本文介绍如何查看容器资产中存在的安全风险。版本...
总览
安全管家通过总览页面提供可视化统计数据的仪表板，用于展示安全服务过程及结果的重要指标和风险变化趋势，帮助您了解当前网络中存在的风险状态以及安全服务处置响应情况，有效帮助您了解和监测安全服务为您带来的业务价值。安全管家通过对...
概述
本文介绍阿里云各类存储服务及特性的适用场景、性能、安全、接口和费用模型等，帮助您选择最适合您业务场景和需求的云存储服务。有关阿里云存储服务的详细介绍、客户案例、解决方案等，请参见 阿里云存储产品家族。对象存储OSS 对象存储OSS...
安全基线检查
数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全，这些检查策略和检查项统称为安全基线检查。安全基线检查功能可以帮...
扫描漏洞
为了您的资产安全，建议您定期扫描资产漏洞。本文介绍云安全中心支持扫描和修复的漏洞情况，以及如何设置周期性自动扫描漏洞和执行手动扫描漏洞。支持情况 漏洞扫描和修复支持情况 下表介绍云安全中心的不同版本对各类型漏洞的扫描、修复的...
Spark应用配置参数说明
假设配置为3，则这个应用在一个滑动窗口期时间内最多尝试3次。spark.adb.attemptFailuresValidityInterval 否 Integer.MAX 重试计数的滑动窗口时间，单位：秒（s）。假设配置为6000，那么当一次重试失败后，系统会计算过去6000s共进行了...
查看和处理安全告警
为了您的资产安全，建议您及时查看和处理云安全中心检测出的安全告警。本文介绍如何查看和处理安全告警。查看安全告警 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，选择 ...
创建EMR Studio集群
注意事项 截止2022年10月14日，EMR Studio已正式停止运维更新，也不提供新建该类型集群的入口，但已有集群的功能使用不受影响。操作步骤 进入创建集群页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域和资源组。...
插件配置概述
全部 冷更新、热更新 重要 Elasticsearch 7.16及以上版本和部分地域的基于全新云原生管控的7.10版本实例不支持IK词典冷更新。analysis-icu ICU分析插件，集成了ICU模块，添加了ICU相关的分析组件。全部 安装、卸载 analysis-kuromoji 日语...
EMR-3.38.x版本说明
发布日期 版本 日期 EMR-3.38.3 2021年12月 EMR-3.38.2 2021年12月 EMR-3.38.1 2021年11月 EMR-3.38.0 2021年10月 更新内容 EMR-3.38.3 修复了所有相关组件的Log4j安全漏洞，详细信息请参见 漏洞公告|Apache Log4j2远程代码执行漏洞。...
登录集群
选择 Connection>SSH>Auth，在最下面一个配置项 Private key file for authentication 中，单击 Browse，选择转化后的密钥文件。单击 Session，在 Host Name(or IP address)下的输入框中，输入登录账号和主节点公网IP地址。格式为 emr-user...
CreateCluster-创建集群
同一个 ClientToken 多次调用的返回结果一致，同一个 ClientToken 最多只创建一个集群。A7D960FA-6DBA-5E07-8746-A63E3E4D*返回参数 名称 类型 描述 示例值 object 返回数据 ClusterId string 集群 ID。c-b933c5aac7f7*OperationId string ...
EMR-5.3.x版本说明
本文介绍EMR-5.3.x版本的发布日期、更新内容和发行版本信息。发布日期 版本 日期 EMR-5.3.1 2021年9月 EMR-5.3.0 2021年8月 更新内容 EMR-5.3.1 服务 变更点 SmartData 升级SmartData至3.7.1版本。Hue 修复了高安全集群无法使用Impala的...
UNLOAD
外部存储：OSS 您可以一键授权，具备更高安全性。详情请参见 STS模式授权。说明 本文示例采用一键授权方式，角色名称定义为 AliyunODPSDefaultRole。外部存储：Hologres 您可创建一个RAM角色，为其授权允许MaxCompute访问的权限，并将角色...
创建OSS外部表
背景信息 对象存储服务OSS 是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的数据文件。当您需要使用MaxCompute读取存储在OSS目录中的数据或需要将MaxCompute项目中的数据写入OSS目录时，可以在MaxCompute项目中创建OSS...
UNLOAD
外部存储：OSS 您可以一键授权，具备更高安全性。详情请参见 STS模式授权。说明 本文示例采用一键授权方式，角色名称定义为 AliyunODPSDefaultRole。外部存储：Hologres 您可创建一个RAM角色，为其授权允许MaxCompute访问的权限，并将角色...
使用PyJindo访问阿里云OSS-HDFS
其中，Hadoop配置文件及HADOOP_CONF_DIR不是必须，仅为兼容HADOOP环境中的配置。export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m...
通用软件漏洞收集及奖励计划第四期
2024年04月01日更新：本期活动将于2024年05月10日12:00结束，逾期不再收取漏洞。通用软件漏洞情报收集及奖励标准 为了更好地保障云上用户的安全，提升安全防御能力，阿里云先知专门制定了《通用软件漏洞验收及奖励计划》，以提供奖励的方式...
数据导入常见问题
DataX Writer 使用DataX导入支持更新数据吗？使用DataX同步数据时，如何处理命名中使用的关键字，防止报错？Spark Load 报错“When running with master 'yarn' either HADOOP-CONF-DIR or YARN-CONF-DIR must be set in the environment”...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
写入文件提示无法满足最小写入副本要求
如果连通的命令长时间或超时不返回信息，则可通过以下命令，检查NameNode节点和DataNode节点是否在同一安全组下。hadoop dfs-ls/检查DataNode服务是否启动。登录DataNode服务所在节点，请参见 登录集群。切换到hdfs用户。su-hdfs 执行以下...
多账号统一管理
该操作会将可信服务数据安全中心的状态更新为已启用。单击 添加成员账号。在 添加成员账号 对话框，选择需管理的成员账号，并单击 确定。步骤三：管理成员账号资产 添加成员账号后，已购买DSC的阿里云账号可以在数据安全中心控制台管理当前...
安全服务
安全产品运营 针对没有专业安全人员的企业，安全管家提供专业的安全产品托管服务（包括云盾安全产品和第三方安全产品），支持代运维安全产品，并根据安全威胁管理安全产品配置定制安全策略，为您搭建牢固的安全防御体系。安全效果分析 实施...
多账号安全管理
在 可信服务 页面，找到 云安全中心 或 云安全中心-威胁分析，在 操作 列单击 管理。在 委派管理员账号 区域，单击 添加。在 添加委派管理员账号 面板，选择需要设置为委派管理员的成员，然后单击 确定。添加成功后，使用该委派管理员账号...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
生成keytab配置文件
MaxCompute与Hadoop集群构建湖仓一体时，如果Hadoop集群开启了Kerberos安全机制，则需要上传keytab配置文件。本文为您介绍如何生成keytab配置文件。操作步骤 以下以阿里云E-MapReduce（EMR）为例，说明生成keytab配置文件的过程。使用SSH...
创建安全基线
办公安全平台提供自定义安全基线的功能，方便您根据企业实际的情况，定制符合自身需求的办公终端访问内网办公应用的合规性检测标准。背景信息 SASE 安全客户端可以实时采集指定的办公终端属性，通过配置安全基线模版可与内网访问的访问控制...
安全报告
操作步骤 除了云安全中心默认创建的安全日报外，您最多还可以创建9个安全报告。登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，选择 系统配置>安全报告。在 安全报告 页面，...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
- 产品推荐
- 这些文档可能帮助您