快速入门
安全管家服务是阿里云安全专家基于阿里云多年安全最佳实践经验为您提供的全方位安全技术和咨询服务，为您的云上资产建立和持续优化云安全防护体系，保障您的业务安全。本文介绍如何开通及使用安全管家服务。步骤一：开通安全管家服务 首次...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
配置E-MapReduce服务使用文件存储 HDFS 版
hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse/analysis_logs.db/original_log_sh_partitioned|-1|org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat|3|29|22|org.apache.hadoop.mapred.TextInputFormat|...
SmartData常见问题
安全相关 使用JindoFS，会泄露AccessKey吗？什么是AccessKey免密？如果支持AccessKey免密，那如何区分不同的用户和权限限制？如何使用不同的AccessKey，通过JindoFS访问不同的OSS Bucket？在无EMR管控支持情况下，想使用自建的IDC集群，又...
什么是云安全中心
云安全中心充分利用云原生架构优势、多年云上安全防护经验和前沿的安全攻防技术，提供全面的安全解决方案。这些解决方案涵盖云资产管理、安全配置核查、主动防御、安全加固、云产品配置评估和安全可视化等关键领域。通过整合云上海量日志、...
Apache Impala（CDH6）查询OSS数据
CDH是Cloudera提供的包含Apache Hadoop核心组件的企业级大数据发行版，已支持Hadoop 3.0.0。本文将详解如何配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接阿里云OSS存储服务进行数据查询操作。前提条件 已搭建CDH6 集群。...
查询集群模版详情
调用DescribeClusterTemplate接口，查询集群模版详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
使用独立的Trino集群
背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...
E-MapReduce数据迁移方案
需要修改hive.properties：connector.name=hive-hadoop2 hive.metastore.uri=thrift:/E-MapReduce-header-1.cluster-500148414:9083 hive.config.resources=etc/ecm/hadoop-conf/core-site.xml,/etc/ecm/hadoop-conf/hdfs-site.xml hive....
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
MaxCompute如何访问Hologres
需配置以下配置项 spark.hadoop.odps.project.name=<MaxCompute_Project_Name>spark.hadoop.odps.end.point=<Endpoint>spark.hadoop.odps.runtime.end.point=<VPC_Endpoint>spark.hadoop.odps.access.id=<AccessKey_ID>spark.hadoop.odps....
产品优势
DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案上云的有竞争力的解决方案，其中弹性是DLA最为核心的竞争力。弹性能力 Spark CU版弹性：按照Job实际使用弹出资源，只对实际运行的...
通过DSC实现DMS数据分类分级
步骤一：查询DSC数据分级结果 通过OpenAPI查询 调用数据安全中心 DescribeColumns-查询数据资产表中列的数据 接口查询数据分类分级结果的示例代码如下：重要 下述代码示例使用环境变量获取AccessKey的方式进行调用，仅供参考，建议使用更...
产品优势
智能存储 提供多种数据处理能力，例如图片处理、视频截帧、文档预览、图片场景识别、SQL查询等，并无缝对接Hadoop生态以及阿里云函数计算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等产品，满足企业数据分析与管理的需求。...
Hudi
同时该框架还支持自动管理及合并小文件，保持指定的文件大小，从而在处理数据插入和更新时，不会创建过多的小文件，引发查询端性能降低，避免手动监控和合并小文件的运维负担。详情请参见 Apache Hudi。类别 详情 支持类型 源表和结果表 ...
配置CDH6使用文件存储 HDFS 版
5425|5426|1849|org.apache.hadoop.mapred.TextInputFormat|hdfs:/cdh6-master:8020/tmp/tpcds-generate/2/catalog_returns|-1|org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat|5426|5427|1850|org.apache.hadoop.mapred....
任务中心
任务中心提供自动化响应编排能力，将安全事件响应过程中重复性的任务逻辑编排成自动化处置策略，帮助您高效地进行系统安全加固。您创建自动化任务后，任务中心会在您选择的资产上自动化批量执行该任务。本文介绍如何使用任务中心功能。背景...
IoT安全运营中心（后付费）说明
收费范围：IoT安全运营中心 IoT安全运营中心是指IoT安全中心的一部分功能集合，包括：安全检测（除固件安全检测外）、安全合规、安全防护（除固件加固外）、安全分析。付费模式：后付费 IoT安全运营中心支持后付费，您可以通过“无代理、有...
查询集群模版列表
调用ListClusterTemplates接口，查询指定或者全部集群模版列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
共享集群产品功能发布记录
支持读取MaxCompute Transactional类型表，支持读取MaxCompute Schema Evolution状态表（在MaxCompute侧执行过删除列、修改列顺序、修改列类型操作的表），详情请参见 通过创建外部表加速查询MaxCompute数据 和 通过SQL导出数据至...
创建通用项目
安全设置 全局安全设置 安全设置是您可以对数据安全及访问进行精细化控制、对Spark任务的开关及鉴权模式的设置，来保障数据的安全性。更多信息，请参见 安全设置。数据结果下载（下载审批）Dataphin支持业务数据下载，您可对项目级数据是否...
配置回调通知
内容安全最多重复推送3次回调消息。回调数据 回调数据是内容安全服务端向您设置的回调通知地址返回的数据内容。关于回调数据的结构描述，请参见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码，由...
什么是云原生数据湖分析
采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案上云的有竞争力的解决方案。DLA的方案架构图如下...
内容检测API
查询内容安全API的调用数据统计？如何使用内容安全人脸检索功能？哪个接口可以进行内容安全文本垃圾检测？如何反馈内容安全文本检测内容误报？如何查询内容安全文件检测结果？如何提交内容安全文件检测任务？如何查看内容安全API返回结果的...
应用场景
报表查询最快毫秒/秒级响应。与BI生态高度兼容 高度兼容MySQL协议以及SQL：2003语法标准，支持Tableau、帆软、Quick BI等数十款主流BI工具。多源联合分析 该场景需要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，以及分库分表所...
数据读取
重要 由于配置时需要填写访问密钥AccessKey（AK）信息来执行授权，为避免阿里云账号泄露AccessKey带来的安全风险，建议您通过 RAM 用户来完成授权和AccessKey的创建。已获取AccessKey（包括AccessKey ID和AccessKey Secret），用于进行签名...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
EMR Serverless Spark与其他VPC间网络互通
spark.hadoop.hive.metastore.uris thrift:/*.*.*.*:9083 spark.hadoop.hive.imetastoreclient.factory.class org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory spark.emr.serverless.network.service.name xx 其中...
EMR-4.8.x版本说明
使用Presto查询Delta表时，引入缓存机制，以提升查询效率。支持Impala查询Delta表。ESS 修复在Shuffle read阶段，出现closed channel异常、IndexOutOfBounds异常或堆外内存使用过多的问题。修复开启Metrics之后，出现NPE异常的问题。HAS ...
安全设置
默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式（开启）当前项目Dev环境的所有表操作 支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或...
安全设置
默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式（开启）当前项目Dev环境的所有表操作 支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全模式或...
什么是OSS-HDFS服务
通过简单的配置即可像在原生HDFS中那样管理和访问数据，同时获得OSS无限容量、弹性扩展、更高的安全性、可靠性和可用性支撑。作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储...
ALIYUN:EMR:Cluster
当集群创建完成后，可以在集群详情中查询创建的安全组ID。该安全组将会带有默认的安全组策略：入方向只开放22端口，出方向开放所有端口。DepositType String 否 否 集群的托管类型。无 SecurityGroupId String 否 否 安全组ID。若使用已有...
常见问题
Trino只会保存最近的不超过200条的查询，执行结果正常的查询很快就会被新的查询覆盖；异常的查询信息会保留的更久一些。可调整 query.max-history 配置（默认为100）以增加保存的SQL数量。创建集群时没有选择Trino，想要添加Trino，需要...
MaxCompute湖仓一体
支持外部项目中的数据表及字段的资产搜索及查询。支持数据预览。支持生成select语句及DDL语句。支持申请外部项目中的表及字段的权限。对湖仓一体的数据进行质量稽核和安全管控 支持基于外部项目的物理表配置数据表质量规则。支持MaxComput ...
MaxCompute湖仓一体
支持外部项目中的数据表及字段的资产搜索及查询。支持数据预览。支持生成select语句及DDL语句。支持申请外部项目中的表及字段的权限。对湖仓一体的数据进行质量稽核和安全管控 支持基于外部项目的物理表配置数据表质量规则。支持MaxComput ...
查询作业列表
调用ListFlowJobs接口查询作业列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
ALIYUN:EMR:Cluster2
除集群设置的安全组外，为节点组单独设置的附加安全组，最多添加2个附加安全组。CostOptimizedConfig Map 否 否 成本优化模式配置。无 GracefulShutdown Boolean 否 否 节点组上部署的组件是否开启优雅下线。取值：true：开启优雅下线。...
作业配置指南
假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。spark.dla.job.attemptFailuresValidityInterval-1 作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要 如果作业尝试结束时间距离当前时间已经超过了指定的...
2021年
创建了物化视图后，执行查询操作时，MaxCompute SQL查询改写能力会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率，您不需要修改已有查询。2021-08-06 全部地域 物化视图操作 2021-07 功能名称 功能描述 发布...
- 产品推荐
- 这些文档可能帮助您