利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
执行引擎
自适应增量处理 对常见实时数据应用查询模式进行自适应增量处理。特定查询深度优化 对一些特定查询模式的独特优化。更多技术原理请参见 Hologres执行引擎揭秘。Query执行过程 当客户端下发一个Query后，在执行引擎中实际上会有多个worker...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
实时物化视图
AnalyticDB PostgreSQL版 提供了实时物化视图功能，相较于普通（非实时）物化视图，实时物化视图无需手动调用刷新命令，即可实现数据更新时自动同步刷新物化视图。当基表发生变化时，构建在基表上的实时物化视图将会自动更新。您还可以在...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
智能媒体服务的审计事件
智能媒体服务已与操作审计服务集成，您可以在操作审计中查询用户操作智能媒体服务产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
数据湖生态接入
HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala Impala使用JindoSDK查询OSS-HDFS服务中的数据 ...
管理Hive Catalog
背景信息 您可以将Hive Catalog配置文件和Hadoop依赖存放至对象存储OSS控制台指定目录后，再在Flink开发控制台上配置Hive Catalog功能。配置成功后，可在Flink开发控制台上直接使用DML创建业务逻辑，获取Hive中表的元数据信息，无需再使用...
实时数仓Hologres的审计事件
实时数仓Hologres已与操作审计服务集成，您可以在操作审计中查询用户操作实时数仓Hologres产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录...
功能特性
订阅Hologres Binlog 实时物化视图 实时物化视图将对明细表的数据进行预先聚合，存储为物化视图，通过查询物化视图，减少计算量，显著提升查询性能。实时物化视图（Beta）JSON和JSON列存 支持JSON和JSONB数据类型、多种JSON函数，满足标签...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
创建Hive数据源
背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等...
实时计算Flink版的审计事件
实时计算Flink版已与操作审计服务集成，您可以在操作审计中查询用户操作实时计算Flink版产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了...
2021年
您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。2021-09-01 华东1（杭州）华东2（上海）华北2（北京）华南1（深圳）新加坡 基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储机制 2021-08 功能名称 功能描述 发布时间 发布...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
使用独立的Trino集群
支持数据湖分析与实时数仓。不存储数据。说明 Hudi和Iceberg不是实际的进程，不占集群资源。Hue和JindoData服务（或SmartData服务），如果不使用，可以选择停止。如果要使用独立的Trino集群，需要先创建一个DataLake集群、自定义集群或...
MaxCompute如何访问Hologres
Hologres具备高并发地实时写入和查询数据的能力，同时支持数据无需迁移就能高性能加速分析MaxCompute数据，通过联邦分析Hologres实时数据与MaxCompute离线数据，实现离线实时一体化的数据仓库产品解决方案。您可以使用MaxCompute和Hologres...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
什么是OSS-HDFS服务
实时计算Flink读写OSS或者OSS-HDFS Flume 使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务 HBase HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储 Hive Hive以EMR集群的方式处理OSS-HDFS服务中的数据 Impala Impala以EMR集群的方式查询...
2021年
物化视图自动查询改写 使用实时物化视图加速带可变参数的查询 支持在分区表中使用实时物化视图。实时物化视图 分区表 支持使用INSERT ON CONFLICT语句在分区表中覆盖写入数据。使用INSERT ON CONFLICT覆盖写入数据 支持使用COPY ON ...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
Hudi
同时该框架还支持自动管理及合并小文件，保持指定的文件大小，从而在处理数据插入和更新时，不会创建过多的小文件，引发查询端性能降低，避免手动监控和合并小文件的运维负担。详情请参见 Apache Hudi。类别 详情 支持类型 源表和结果表 ...
创建EMR Impala节点
您可以创建EMR（E-MapReduce）Impala节点，对PB级大数据进行快速、实时的交互式SQL查询。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
插件配置概述
阿里云Elasticsearch支持20余款开源和自研Elasticsearch插件，能够提升集群在稳定性、查询和写入性能、分词查询、数据检索等各方面的能力。本文介绍阿里云Elasticsearch支持的系统默认插件和自定义插件。系统默认插件 系统默认插件为阿里云...
创建通用项目
如果您选择的Dataphin的计算引擎为Hadoop，且数据研发过程中需要使用规范建模、即席查询、Hive SQL计算任务等功能，则在创建项目空间前需要完成Hadoop计算源的创建。具体操作，请参见 创建Hadoop计算源。如果您选择的Dataphin的计算引擎为...
作业配置说明
如果为OSS路径，您需要配置对应的配置项，包括：spark.hadoop.fs.oss.endpoint、spark.hadoop.fs.oss.accessKeyId、spark.hadoop.fs.oss.accessKeySecretspark.hadoop.fs.oss.impl。重要 通过JDBC方式连接计算引擎时，JAR包仅支持上传至...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎...HDFS 您可根据所使用的EMR集群规模情况调整HDFS的以下配置项：hadoop_namenode_heapsize、hadoop_datanode_heapsize、hadoop_secondary_namenode_heapsize、hadoop_namenode_opts 至合适大小。
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
DataWorks V3.0
E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据...
功能发布记录
更多行为变更，参考 默认行为变更说明 Hologres V1.3版本（2022年7月）2022年07月正式发布Hologres V1.3版本，新增功能具体如下：引擎能力增强 支持实时物化视图，提升实时聚合场景查询效率（Beta），详情请参见 实时物化视图（Beta）。...
应用场景
数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-HDFS，集群的YARN服务不再依赖集群本地的HDFS，也不需要使用Core节点组，从而提高了集群的弹性和灵活...
数据开发常见问题
su hdfs/usr/lib/hadoop-current/sbin/start-balancer.sh-threshold 10 执行以下命令，查看Balancer运行情况：方式一 less/var/log/hadoop-hdfs/hadoop-hdfs-balancer-emr-header-xx.cluster-xxx.log 方式二 tailf/var/log/hadoop-hdfs/...
使用前须知
使用限制 日志管理功能仅适用于新版数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。支持日志投递的服务包括hdfs、yarn、yarn_application、hive、spark、jindodata...
数据开发概述
实时引擎适配功能说明 功能特性 Blink Ververica Flink 开源Flink 适配离线引擎 MaxCompute MaxCompute Hadoop（CDH5、CDH6、CDP、FusionInsight）TDH 自定义数据源 支持 待支持 待支持 元表 支持 支持 支持 镜像表 支持 支持 支持 任务...
- 产品推荐
- 这些文档可能帮助您