结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
功能特性
文件存储 HDFS 版 具有无缝集成、共享访问、安全控制、线性扩展等多种特性。无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括...
短语音同步检测
最多支持100个元素，即每次提交100条内容进行检测，支持100个元素的前提是需要将并发任务调整到100个以上。关于每个元素的具体结构描述，请参见 task。表 1.task 名称 类型 是否必选 示例值 描述 clientInfo JSONObject 否 {"userId":...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
文本同步检测
最多支持100个元素，即每次提交100条内容进行检测。如果您的业务需要更大的并发量，请联系客户经理申请并发扩容。关于每个元素的具体结构描述，请参见 task。表 1.task 名称 类型 是否必选 示例值 描述 clientInfo JSONObject 否 客户端...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
同步检测
最多支持100个元素，即每次提交100条内容进行检测，支持100个元素的前提是需要将并发任务调整到100个以上。关于每个元素的具体结构描述，请参见 task。表 1.task 名称 类型 是否必选 示例值 描述 dataId String 否 e6b080a8-a91a-11e8-bac4...
逻辑表结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文介绍逻辑表结构设计的方法。背景信息 分...
SDK概述
说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持...
E-MapReduce数据迁移方案
需要修改hive.properties：connector.name=hive-hadoop2 hive.metastore.uri=thrift:/E-MapReduce-header-1.cluster-500148414:9083 hive.config.resources=etc/ecm/hadoop-conf/core-site.xml,/etc/ecm/hadoop-conf/hdfs-site.xml hive....
什么是OSS-HDFS服务
通过简单的配置即可像在原生HDFS中那样管理和访问数据，同时获得OSS无限容量、弹性扩展、更高的安全性、可靠性和可用性支撑。作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
同步检测
frames 中的每个元素是个结构体，关于每个元素的具体结构描述，请参见 frame。单次检测视频的截帧个数最多为200个。framePrefix String 否 截帧地址的前缀，与 frame.url 一起组成截帧的完整地址。视频截帧的完整地址格式为 framePrefix+...
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
内容检测API
内容安全图片审核同步接口一次调用最多支持100个检测元素，即每次提交100条内容进行检测。但是支持100个元素的前提是需要将并发调整到100以上，内容安全API默认并发是：图片审核50张，文本审核100条，视频 和语音 审核20路。更多信息，请...
数据读取
重要 由于配置时需要填写访问密钥AccessKey（AK）信息来执行授权，为避免阿里云账号泄露AccessKey带来的安全风险，建议您通过 RAM 用户来完成授权和AccessKey的创建。已获取AccessKey（包括AccessKey ID和AccessKey Secret），用于进行签名...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
数据复制
EXTENSION/spark-extension-current/spark3-emrsdk/*,/opt/apps/HADOOP-COMMON/hadoop-common-current/share/hadoop/common/lib/commons-net-3.6.jar 步骤二：创建Spark表 以两张 表格存储 数据表source_pet和target_pet为例，表结构如下，...
IoT安全运营中心（后付费）说明
收费范围：IoT安全运营中心 IoT安全运营中心是指IoT安全中心的一部分功能集合，包括：安全检测（除固件安全检测外）、安全合规、安全防护（除固件加固外）、安全分析。付费模式：后付费 IoT安全运营中心支持后付费，您可以通过“无代理、有...
核心概念的层次结构
MaxCompute具有层次结构，您可以通过了解其结构，为后期项目规划、安全管理等提供思路。本文为您介绍MaxCompute中核心概念的层次结构及简要含义。MaxCompute核心概念的层次结构如下。核心概念 说明 Project（项目）项目是MaxCompute的基本...
异步检测
接收失败时，内容安全将最多重复推送16次检测结果，直到接收成功。重复推送16次后仍未接收成功，则不再推送，建议您检查callback接口的状态。seed String 否 aabbcc123 该值用于回调通知请求中的签名。当使用 callback 时，该字段必须提供...
MaxCompute湖仓一体
MaxCompute可以利用DLF对OSS元数据管理能力，提升对OSS半结构化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）数据的处理能力。更多DLF和OSS介绍，请参见 数据湖构建DLF 和 对象存储OSS。通过MaxCompute与Hadoop构建湖仓一体：...
多账号安全管理
在 可信服务 页面，找到 云安全中心 或 云安全中心-威胁分析，在 操作 列单击 管理。在 委派管理员账号 区域，单击 添加。在 添加委派管理员账号 面板，选择需要设置为委派管理员的成员，然后单击 确定。添加成功后，使用该委派管理员账号...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
MaxCompute湖仓一体
MaxCompute可以利用DLF对OSS元数据管理能力，提升对OSS半结构化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）数据的处理能力。更多DLF和OSS介绍，请参见 数据湖构建DLF 和 对象存储OSS。通过MaxCompute与Hadoop构建湖仓一体：...
ALIYUN:EMR:Cluster2
除集群设置的安全组外，为节点组单独设置的附加安全组，最多添加2个附加安全组。CostOptimizedConfig Map 否 否 成本优化模式配置。无 GracefulShutdown Boolean 否 否 节点组上部署的组件是否开启优雅下线。取值：true：开启优雅下线。...
安装 Agent
Agent 安装包目录结构说明 将安全 Agent 解压缩，得到 Security_Center_Agent_linux_Lite 文件夹。目录结构和各个目录的说明如下：.|-config/自动安装使用的配置文件，用户无需关心|-soc/IoT 安全运营中心 Agent 配置，用户无需关心|`-...
背景信息以及准备工作
阿里云对象存储服务OSS（Object Storage Service），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。越来越多的用户倾向于把大量的日志文件存储在OSS中，DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障...
异步检测
接收失败时，内容安全将最多重复推送16次检测结果，直到接收成功。重复推送16次后仍未接收成功，则不再推送，建议您检查callback接口的状态。seed String 否 aabbcc123 随机字符串，该值用于回调通知请求中的签名。由英文字母、数字、...
作业配置指南
假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。spark.dla.job.attemptFailuresValidityInterval-1 作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要 如果作业尝试结束时间距离当前时间已经超过了指定的...
创建DataFlow Kafka集群
附加安全组：您可以为该节点组关联最多2个附加安全组，附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。挂载公网：集群是否挂载弹性公网IP地址，默认不开启。说明 创建后如果您需要使用公网IP地址访问，请在ECS上申请开通公网...
使用EasyRec读取Hive表
将DataScience集群的所有公网IP地址，添加至Hadoop集群的安全组中，端口为10000和9000，详情请参见 添加安全组规则。修改 ml_on_ds 目录下的文件。上传获取到的 dsdemo*.zip 至DataScience集群的header节点。通过SSH方式连接DataScience...
- 产品推荐
- 这些文档可能帮助您