结构设计

研发流程:结构设计安全规则中重要的配置,它决定了一个结构设计工单整个流程的所有环节。配置内容说明如下:配置内容 说明 步骤 分为 设计 和 发布 两种节点。设计节点:默认节点,无法移除。决定结构变更任务在哪一种环境下设计。发布...

应用场景

数据审计 智能解析数据库及大数据的通信流量,细粒度审计数据访问行为,通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警,为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据,...

基线检查

病毒和黑客会利用服务器存在的安全配置缺陷入侵服务器盗取数据或是植入后门。基线检查功能针对服务器操作系统、数据库、软件和容器的配置进行安全检测,可以帮您加固系统安全,降低入侵风险并满足安全合规要求。本文介绍基线检查功能的基本...

HDFS数据源

由于snappy目前没有统一的stream format,数据集成目前仅支持主流的hadoop-snappy(hadoop上的snappy stream format)和framing-snappy(google建议的snappy stream format)。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...

2021年

2021-09-14 华南1金融云(深圳)无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制,本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群,...

异构数据源访问

功能说明 外部数据源管理提供高性能的结构化和非结构化数据并行传输服务。其中,异构数据源访问支持通过 AnalyticDB PostgreSQL版 数据库以统一的SQL接口查询和分析存储在外部系统中的数据。提供以下功能:多种数据存储访问:支持多种数据...

常见问题

export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中(例如 yarn-site.xml 等)...

DataWorks On EMR使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

客户案例

客户需求 存在Hadoop1.0、2.0两个集群,技术架构复杂,平台的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈。日志来源渠道多,实时性要求高,基于fluentd的文件采集服务,随着日志量的增多,性能、稳定性存在明显瓶颈。“人肉脚本”的...

概述

本文介绍阿里云各类存储服务及特性的适用场景、性能、安全、接口和费用模型等,帮助您选择适合您业务场景和需求的云存储服务。有关阿里云存储服务的详细介绍、客户案例、解决方案等,请参见 阿里云存储产品家族。对象存储OSS 对象存储OSS...

2023年

MaxCompute JSON类型使用指南(试用Beta版本)2023-06-26 新增增量查询 新说明 Transactional Table 2.0支持增量写入和存储,重要的一个考虑就是支持增量查询以及增量计算优化,为此,专门设计开发了新的SQL增量查询语法来支持近实时增量...

2022年

更新说明 优化以单源短距离算法为例的Graph作业编写。编写Graph 2022年1月更新记录 时间 特性 类别 描述 产品文档 2022-01-30 常见问题整改。更新说明 将常见问题拆解到各个模块,便于用户在遇到问题时快速查找解决措施。常见问题 2022-...

上下游存储

在Kafka DDL的WITH参数中添要加密和认证相关的安全配置,安全配置详情请参见 SECURITY,代码示例如下。重要 需将安全配置加上 properties.前缀。如何配置Kafka表以使用PLAIN作为SASL机制并提供JAAS配置。CREATE TABLE KafkaTable(`user_id`...

配置身份源

办公安全平台SASE(Secure Access Service Edge)需要结合第三方的账号身份体系来验证用户的动态身份,以确保客户端用户身份合法有效,提升办公环境安全性。本文介绍如何配置单身份源信息和多身份源。背景信息 SASE 以身份驱动下发安全策略...

文件存储 HDFS 版和数据库MySQL双向数据迁移

背景信息 Sqoop 是一款开源的工具,主要用于在Hadoop结构化数据存储(例如关系数据库)之间高效传输批量数据。既可以将一个关系型数据库(MySQL、Oracle、Postgres等)中的数据导入 文件存储 HDFS 版 中,也可以将 文件存储 HDFS 版 的...

Hadoop DistCp介绍

使用方法 Hadoop DistCp常见的调用是集群间拷贝,例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下:hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明,请参见 Hadoop社区的DistCp使用...

使用Druid

header-1.cluster-5678 iZbp10tx4egw3wfnh5o*安全Hadoop集群,请按如下操作进行:确保集群间能够通信(两个集群在一个安全组下,或两个集群在不同安全组,但两个安全组之间配置了访问规则)。在E-MapReduce Druid集群的每个节点的指定路径...

Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露

阿里云安全监测到Kinsing僵尸网络变种,该僵尸网络除了沿用之前的攻击手法,最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...

配置SQL执行控制

无锁结构变更运行参数包括:配置切换表时锁表超时时间 配置切换表失败时重试次数 配置全量拷贝策略和大小 配置切换表的时间窗口 配置切换表完成后原表清理策略 说明 正常情况下,您无需配置任何参数,DMS自动采用最优和最安全的方式执行...

MaxCompute+Hadoop搭建实践

本文以E-MapReduce的Hive为例,为您介绍在MaxCompute中如何创建外部项目,并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群,具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后,在终端...

JindoDistCp使用说明

功能全量对齐S3 DistCp和HDFS DistCp,性能较HDFS DistCp有较大提升,致力于提供高效、稳定、安全的数据拷贝工具。环境要求 JDK 1.8.0及以上。Hadoop 2.3+版本,请下载最新版的jindo-distcp-tool-x.x.x.jar,该JAR包含在jindosdk-${version...

数据湖集群

因此数据湖集群对每一个节点组增加了多两个附加安全组,从而可以精细化控制节点组出入端口的规则。另外,EMR数据湖集群将挂载公网功能移到了节点组,这样可以更好的搭配附加安全组实现精细化的对外开放公网的管理。Spark部署 数据湖集群...

Hadoop使用JindoSDK访问OSS-HDFS服务

vim/etc/profile export HADOOP_HOME=usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH source/etc/profile 更新Hadoop配置文件中的 HADOOP_HOME。cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。...

配置消息通知

内容安全最多重复推送回调消息3次。回调数据 回调数据是内容安全服务端向您设置的回调通知地址返回的数据内容。关于回调数据的结构描述,请参见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码,由...

配置消息通知

内容安全最多重复推送回调消息3次。回调数据 回调数据是内容安全服务端向您设置的回调通知地址返回的数据内容。回调数据的结构描述见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码,由<用户uid>+...

配置回调通知

内容安全最多重复推送3次回调消息。回调数据 回调数据是内容安全服务端向您设置的回调通知地址返回的数据内容。关于回调数据的结构描述,请参见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码,由...

语音人工审核

接收失败时,内容安全多重复推送16次检测结果,直到接收成功。重复推送16次后仍未接收成功,则不再推送,建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串,该值用于回调通知请求中的签名。由英文字母、数字、下划线...

图片人工审核

接收失败时,内容安全多重复推送16次检测结果,直到接收成功。重复推送16次后仍未接收成功,则不再推送,建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串,该值用于回调通知请求中的签名。由英文字母、数字、下划线...

视频人工审核

接收失败时,内容安全多重复推送16次检测结果,直到接收成功。重复推送16次后仍未接收成功,则不再推送,建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串,该值用于回调通知请求中的签名。由英文字母、数字、下划线...

文本人工审核

接收失败时,内容安全多重复推送16次检测结果,直到接收成功。重复推送16次后仍未接收成功,则不再推送,建议您检查callback接口的状态。seed String 是 seedxxx 随机字符串,该值用于回调通知请求中的签名。由英文字母、数字、下划线...

网络开通流程

Hadoop集群的安全组配置如下信息,确保MaxCompute可以访问Hadoop集群。安全组配置内容如下:配置Hadoop集群所在安全组的入方向访问规则。授权对象为ENI所在的安全组,即步骤2中创建的安全组。HiveMetaStore端口:9083。HDFS NameNode端口...

YARN高安全特性使用指南

YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop,其中 hadoop 前有单个空格,表示授权给hadoop组(EMR的服务启动Linux用户通常都是使用hadoop组)作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...

通过ES-Hadoop将HDFS中的数据写入Elasticsearch

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

通过CDH5 Hadoop读取和写入OSS数据

CDH(Cloudera's Distribution,including Apache Hadoop)是众多Hadoop发行版本中的一种,最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS,但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...

漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞

漏洞影响 漏洞影响的Hadoop版本:2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本:存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列(EMR-5.8.x及之前的版本)均受到影响。...

结构发布流程化

本文以设计结构(Develop,简称Dev)、测试(Test)、生产发布(Product)的表结构设计步骤向您介绍规范、安全的表结构发布流程。背景信息 在新项目、新需求或者优化等业务场景中,一般会涉及到新建表、修改表(加减字段、加减索引、调整...

迁移HDFS数据到OSS

在进行数据迁移、数据拷贝的场景中,常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性,导致效率低下并且不能保证数据一致性。此外,该工具提供的功能选项较单一,无法很好地满足用户的需求。阿里云Jindo ...

SHOW

安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息,包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据,...

SHOW

安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息,包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据,...

CDH6与文件引擎集成

CDH(Cloudera's Distribution,including Apache Hadoop)提供Hadoop组件的安装、运维、监控等功能,您可以使用 CDH6(表示CDH 6.X 版本)管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成,来替换底层HDFS存储。您可以基于...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数字证书管理服务(原SSL证书) 内容安全 云安全中心 Web应用防火墙 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用