Hive作业异常排查及处理
此时EMR旧集群上的Hive表数据保存在HDFS上，可以先尝试将 HDFS数据转移到OSS上，并且创建新表。hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/...
查看集群日报与分析
Hive库存储格式分布Top信息展示如下：库TextFile存储格式数据量分布Top 库Parquet存储格式数据量分布Top 库ORC存储格式数据量分布Top Hive表信息 Hive表信息包含以下部分：Hive表详细信息 Hive表文件大小分布Top信息 Hive表冷热数据分布Top...
配置Hive输出组件
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何创建和查看Hive ...查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hive更多介绍，请参见 Hive概述。
Hive数据源
Hive Catalog是一种External Catalog。通过Hive Catalog，您可以直接查询Hive中的数据。...查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hive更多介绍，请参见 Hive概述。
常见问题
Impala写入Hive表数据的时候，是否可以修改写入文件的owner？如何调整Impalad可使用的节点内存总量？如何限制单条查询语句消耗内存的大小？如何提升非JOIN语句的查询效率？Ranger开启Impala后，新扩容的Impala节点无法正常工作，该怎么办？...
使用SQL管理外部项目
基于Hadoop外部数据源的外部项目操作 按照如下命令，查询Hadoop中Hive表数据。执行作业需要在普通项目下，不能是外部项目。use;访问阿里云E-MapReduce表必须设置，访问MaxCompute内部表不需要。set odps.sql.hive.compatible=true;指定写出...
时序数据生命周期
当要实现自动清理时序表中的历史数据时，您可以使用数据生命周期（TTL）功能有效地管理时序数据，减少数据存储空间，降低存储成本。配置TTL后，如果希望延长数据保存时间，您可以修改TTL。注意事项 数据清理后无法恢复，请谨慎操作。通过...
Hive连接方式
jdbc</artifactId><version>2.3.9</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.8.5</version></dependency>编写代码，连接HiveServer2并操作Hive表数据。...
概述
PolarDB支持的数据冷存模式包含以下三种：将整表数据存储在OSS中，索引存储在云盘中，降本后还能有良好的访问性能；只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较...
实例选型和集群规划
行存储与列存储 云原生数据仓库AnalyticDB PostgreSQL版在表数据存储格式上支持行存储和列存储，二者在不同使用场景下各有优劣势，直接关系到实例的性能和存储空间。用户在创建表时，支持指定数据存储格式，即支持按行组织存储，也支持按列...
概述
PolarDB支持的数据冷存模式包含以下三种：将整表数据存储在OSS中，索引存储在云盘中，降本后还能有良好的访问性能；只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较...
概述
PolarDB支持的数据冷存模式包含以下三种：将整表数据存储在OSS中，索引存储在云盘中，降本后还能有良好的访问性能；只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较...
数据集成服务
具体数据源配置如下：源数据源：MaxCompute数据源 目标数据源：Tablestore数据源 同步表格存储数据表中数据到另一个数据表 表格存储数据表数据只支持迁移到表格存储另一个数据表中。迁移过程中会使用到表格存储的Reader脚本配置和Writer...
迁移工具
将表格存储数据表中数据同步到另一个数据表 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
管理问题数据
背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间：根据当前表所...
库表结构优化
迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该数据表的查询时间会变长。索引优化 分析数据索引的使用情况，对长期未使用的数据索引，建议将其删除，以降低数据索引的存储成本。数据库利用索引...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
数据治理
当前仅支持面向E-MapReduce中的几类Hive表提供数据预览功能，若无法进行Hive表数据预览，请联系集群管理员确认集群类型及存储类型是否满足以下要求。说明 其中 表示支持预览，表示不支持预览。EMR集群类型 元数据存储类型 数据存储类型：...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
访问Kafka数据
返回结果：Output:kafka record（可选）实践：将Kafka数据导入Hive表 如果您有数据分析等相关需求，可以参考以下步骤将Kafka中的数据导入Hive表。假设域名接入点为kafka_addr:9092，topic名称为topic1的Kafka实例中有两条写入时间在2023-04...
时序分析存储概述
分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果业务压力过大，分析存储会优先保证存储稳定性，同步延迟会略微增加。功能特性 分析存储支持的功能特性说明请参见下表。功能特性 说明 ...
Dataphin支持的实时数据源
存储类型 数据源类型 读 写 维表读 大数据存储 Apache Hive 支持 支持 支持 Doris 支持（flink1.14及flink1.15）支持（flink1.14及flink1.15）-数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式）-Paimon ...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
Hive数据迁移
本文为您介绍通过Hive UDTF迁移Hive数据的方法。准备事项 ⽹络环境要求。Hive集群各节点能够访问MaxCompute。MMA所在服务器能够访问Hive MetaStore Server、Hive Server。创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的...
数据存储冷热分离
AnalyticDB MySQL版 弹性模式集群版（新版）（3.1.3.3及以上版本）支持表或分区级别的数据存储冷热分离策略。前提条件 AnalyticDB MySQL版 集群需要同时满足以下条件：集群系列需为 弹性模式集群版（新版）。集群内核版本需为3.1.3.3或以上...
DataWorks on EMR数据安全方案
开源Ranger方案：您需要在集群拉起Ranger服务，管理HDFS、Yarn、Hive库和Hive表等数据权限。DLF Auth方案：您需要在集群拉起DLF Auth服务，来管理库、表、列、函数等数据权限，详细介绍请参见 DLF-Auth。DLF Auth的相关授权操作可直接通过...
元数据管理
选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库，点击右侧的删除...
ODS层设计规范
数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久保存。日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否...
手工表概述
搜索：支持查找当前表数据或替换表数据内容。自适应列宽：可使表自适应列宽。获取锁（释放锁）：若需编辑表需要获取表锁；不需要编辑表时可释放表锁，使他人可进行编辑操作。从引擎同步：将从引擎同步此表的最新数据。说明 该操作可能耗时...
手工表概述
搜索：支持查找当前表数据或替换表数据内容。自适应列宽：可使表自适应列宽。获取锁（释放锁）：若需编辑表需要获取表锁；不需要编辑表时可释放表锁，使他人可进行编辑操作。从引擎同步：将从引擎同步此表的最新数据。说明 该操作可能耗时...
如何实现一键转冷存
本文介绍一键转冷存的最佳实践。...如果 reserved_subparts_cnt 大于0，则按照子分区分表建立的时间顺序进行排序，保留时间最近的 reserved_subparts_cnt 个子分区表数据存储位置不变，其余子分区表及其索引数据转为OSS存储。
如何实现一键转冷存
本文介绍一键转冷存的最佳实践。...如果 reserved_subparts_cnt 大于0，则按照子分区分表建立的时间顺序进行排序，保留时间最近的 reserved_subparts_cnt 个子分区表数据存储位置不变，其余子分区表及其索引数据转为OSS存储。
前言
背景信息 表格存储 提供了宽表模型、时序模型、消息模型等多种数据模型，SDK参考文档中主要介绍使用宽表模型和时序模型时的功能操作。请根据要使用的数据模型执行相应操作，具体功能的使用流程说明请参见下表。说明 关于消息模型的更多信息...
使用流程
表格存储 提供了宽表（WideColumn）模型、时序（TimeSeries）模型和消息（Timeline）模型三种数据存储模型，请根据使用场景选择合适的模型。不同数据存储模型支持的功能特性请参见 功能特性。模型 描述 宽表模型 类Bigtable/HBase模型，可...
表数据格式
为了支持增全量存储和处理一体化架构，Transaction Table2.0（简称TT2）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍...
方案背景
设备接入平台通过与表格存储对接，将数据存储到表格存储宽表模型中。更多信息，请参见 宽表模型介绍。表格存储的数据表用于车辆元数据的存储、更新和查询。宽表模型的表结构设计请参见 宽表模型设计。多元索引用于车辆检索和圈选。更多信息...
SmartData 3.5.x版本简介
Hive支持JindoTable冷度统计，以统计Hive表访问频次，详情请参见 JindoTable表或分区访问冷度收集。JindoFS工具集 增强JindoDistcp，支持通过阿里云监控（CloudMonitor）服务监控告警失败任务、移除了对AVX指令集的依赖、并新增使用冷归档...
概述
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储且可以无限水平扩展。同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、...
- 产品推荐
- 这些文档可能帮助您