配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
什么是备份数据量
与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（OSS）。综上所述，您可通过调整...
数据量
存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小：数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（内置存储）。
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
Kafka实时入湖建仓分析
编码 存储数据的编码类型，当前仅⽀持⽬标存储数据编码为UTF8。参数配置完成后，单击 创建。湖仓创建成功后，湖仓列表 页签中将展示创建成功的湖仓任务。创建入湖负载。在 Lakehouse湖仓一体化 页面的 湖仓列表 中，单击 操作 列的 创建入...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
实例选型和集群规划
行存储与列存储 云原生数据仓库AnalyticDB PostgreSQL版在表数据存储格式上支持行存储和列存储，二者在不同使用场景下各有优劣势，直接关系到实例的性能和存储空间。用户在创建表时，支持指定数据存储格式，即支持按行组织存储，也支持按列...
DLA Lakehouse实时入湖
编码 存储数据的编码类型，当前仅⽀持⽬标存储数据编码为UTF8。参数配置完成后，单击 创建。湖仓创建成功后，湖仓列表 页签中将展示创建成功的湖仓任务。创建入湖负载。在 Lakehouse湖仓一体化 页面的 湖仓列表 中，单击 操作 列的 创建入...
概述
技术原理 列存索引的构建 列存索引是由列存引擎节点来构造的，构建的数据最终会以CSV+ORC两种数据格式存储在共享对象上。其中CSV往往存储的是实时的增量数据，过多的增量数据会及时进行compaction，转储成ORC格式。不管是CSV还是ORC格式，...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
异构数据源访问
数据格式透明：支持常见的数据格式，如CSV、ORC、Parquet、JSON、Avro等。高效数据处理：可利用 AnalyticDB PostgreSQL版 数据库的并行处理能力，实现高效的数据读写操作。简化数据集成：可通过编写SQL语句来访问外部数据源，不必担心不同...
Hadoop生态外表联邦分析
查看文件 hdfs dfs-ls/data/pxf_examples/pxfwritable_hdfs_textsimple1#查看数据 hdfs dfs-cat/data/pxf_examples/pxfwritable_hdfs_textsimple1/*Frankfurt,Mar,777,3956.98 Cleveland,Oct,3812,96645.37 访问Hive数据 数据格式 PROFILE ...
概述
同一份数据以不同的格式保存，数据所占用的存储空间不同，使用DLA扫描数据时所花费的时间和费用也不同。通常情况下，同一份数据以ORC格式和PARQUET格式存储时，其数据扫描性能要优于普通文本CSV格式。因此，您可以将文本类型的数据转换为...
数据源Hive
本文为您介绍如何创建数据源Hive。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH...
存储格式
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的 I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
Dataphin集成任务同步数据到Hive报错“GSS initiate ...
问题描述 Dataphin集成任务同步数据到Hive报错“GSS initiate failed”。问题原因 Hive数据源kerberos认证没有成功。解决方案 检查Hive数据源的连通性以及集群认证的相关票证是否正常。适用于 Dataphin
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
Dataphin支持的实时数据源
支持 支持 Mogondb 支持（支持mongodb-cdc）-StarRocks 支持 支持-FusionInsight Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 Apache Hive 支持 支持 支持 Doris 支持 支持-Paimon 支持 支持-数据湖 Hudi 支持 ...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
Hive数据脱敏
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
Quick BI新建hive数据源后将简单SQL放到数据集中运行...
问题描述 Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException:INTERNAL:java.sql.SQLException:org.apache.spark.sql.catalyst.parser.ParseException，错误情况如下：问题原因 将spark数据源当作hive...
数据集成服务
迁移方案 说明 同步表格存储数据到MaxCompute 您可以使用MaxCompute备份表格存储数据或者迁移表格存储数据到MaxCompute中使用。迁移过程中会使用到表格存储的Reader脚本配置和MaxCompute的Writer脚本配置。具体数据源配置如下：源数据源：...
Quick BI连接Hive数据源，用户名密码没有修改，过一段...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
元数据管理常见问题
mysql-h${DBConnectionURL}-u${ConnectionUserName}-p 登录Hive数据库后，修改Location为该Region真实存在的OSS路径即可。如何登录内置的MySQL？通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，登录内置的MySQL。mysql-uroot-...
使用Hive查询JindoFS上的数据
Apache Hive是Hadoop生态中广泛使用的SQL引擎之一，让用户可以使用SQL实现分布式的查询，Hive中数据主要以undefinedDatabase、Table和Partition的形式进行管理，通过指定位置（Location）对应到后端的数据。JindoFS配置 以EMR-3.35版本为例...
备份集下载功能概览
全量数据 支持如下数据库引擎：MySQL SQL Server MariaDB PostgreSQL Oracle MongoDB 说明 MongoDB的数据格式为 json，其余的数据格式均为 CSV。支持如下数据库引擎：MySQL SQL Server 说明 MySQL的数据为Xtrabackup产生的数据格式，并进行...
使用DLF元数据
E-MapReduce（简称EMR）的EMR-5.8.0及之后版本的集群（对应StarRocks 2.3及之后的版本）支持查询元数据类型为DLF的外表。...相关文档 如果使用Hive MetaStore，请参见 Hive数据源、Iceberg数据源、Hudi数据源、Delta Lake数据源。
数据集成支持的数据源
HBase0.9.4 不支持 不支持 HBase1.1x 支持 支持 HBase2.0 支持 支持 Elasticsearch 支持 支持 MongoDB 支持 支持 Tablestore 支持 支持 Aliyun HBase 不支持 不支持 Redis 支持 不支持 Lindorm 不支持 不支持 半结构化存储数据源 ...
配置自动下载备份集
全量数据 支持如下数据库引擎：MySQL SQL Server MariaDB PostgreSQL Oracle MongoDB 说明 MongoDB的数据格式为 json，其余的数据格式均为 CSV。支持如下数据库引擎：MySQL SQL Server 说明 MySQL的数据为Xtrabackup产生的数据格式，并进行...
MMA安装与配置
环境准备 其他环境要求根据不同的数据源会有所不同，具体请根据实际情况参见 Hive数据迁移 或 MaxCompute数据迁移。安装Linux操作系统。安装JDK1.8及以上版本的Java。安装MySQL Server 5.7及以上版本。下载并安装与Hive版本对应的MMA工具。...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
访问Hive数据
云原生多模数据库 Lindorm 计算引擎提供完善的Hive数仓能力，支持用户通过Hive或Spark SQL定义数仓生产处理逻辑并开发相关作业。本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。...
表存储格式定义
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
Quick BI连接hive数据源报错："Required field&39;...
问题描述 Quick BI连接hive数据源报错："Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=group3_dm}。问题原因 hive版本属于cdh hive，quick bi支持的是apache ...
配置hosts
Presto on ACK提供了自定义hosts功能，当Presto on ACK集群读取EMR on ECS集群的Hive数据时，该功能可以提供正确的域名解析配置。本文为您介绍如何配置hosts。背景信息 如果没有正确配置hosts，则可能遇到以下报错提示。java....
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
半结构化分析
JSON/JSONB AnalyticDB PostgreSQL版 支持JSON数据格式。JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供...
手动下载备份集
全量数据 支持如下数据库引擎：MySQL SQL Server MariaDB PostgreSQL Oracle MongoDB 说明 MongoDB的数据格式为 json，其余的数据格式均为 CSV。支持如下数据库引擎：MySQL SQL Server 说明 MySQL的数据为Xtrabackup产生的数据格式，并进行...
- 产品推荐
- 这些文档可能帮助您