使用教程
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
配置CDH6使用文件存储 HDFS 版
本文以修改Hive服务元数据存储在MySQL中的数据为例，修改DBS表和SDS表相应的存储系统的URL。执行 use metastore;命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回...
流式入库
支持流式入库的系统都基本遵循了一个思路，流式数据按照小批量数据写小文件到存储系统，然后定时合并这些文件。例如，Hive和Delta Lake。Kudu也支持流式入库，但是Kudu的存储是自己设计的，不属于基于大数据存储系统之上的解决方案。本文以...
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
JDBC开发实践
以Hive数据为例，开通Lindorm Hive服务后您可以通过以下方式建表和读写数据。开通方法请参见 开通Hive服务。CREATE TABLE test(id INT,name STRING);INSERT INTO test VALUES(0,'Jay'),(1,'Edison');SELECT id,name FROM test;使用Java访问...
SQL查询介绍
时序模型使用步骤说明 步骤 操作 说明 1 为表创建映射关系 使用SQL查询数据前，您需要为表创建映射关系。您可以为时序表建立单值模型映射关系、多值模型映射关系或时间线元数据映射关系三种映射关系进行数据查询。创建时序表后，系统会自动...
元数据导出
如果location的路径为hdfs，则库表location的hdfs namespace必须与EMR集群的hdfs namespace一致，否则导出会报错（即location为hdfs时，不支持跨集群元数据导出）请保证目标RDS库中已经存在元数据表，RDS元数据初始化参照 配置自建RDS 操作...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。不同操作中SHOW命令的用法以及示例如下表所示。操作 说明 SET操作 显示SET命令设置。Tunnel操作 查看上传或下载数据的详细命令或日志。安全操作 在当前项目中查看项目的安全配置属性。...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。不同操作中SHOW命令的用法以及示例如下表所示。操作 说明 SET操作 显示SET命令设置。Tunnel操作 查看上传或下载数据的详细命令或日志。安全操作 在当前项目中查看项目的安全配置属性。...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
Hive访问EMR HBase数据
Hive通过内表访问HBase 如果HBase中没有已经创建好的表，则可以在Hive中创建表，Hive会自动把表结构和数据写入到HBase中。本示例是在Hive中新建表访问HBase。执行以下命令，进入Hive命令行。hive 在Hive中创建并查询表数据。执行以下命令，...
Hive访问EMR HBase数据
Hive通过内表访问HBase 如果HBase中没有已经创建好的表，则可以在Hive中创建表，Hive会自动把表结构和数据写入到HBase中。本示例是在Hive中新建表访问HBase。执行以下命令，进入Hive命令行。hive 在Hive中创建并查询表数据。执行以下命令，...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
时序分析存储概述
创建分析存储 您可以在创建时序表时为时序表创建分析存储，也可以为存量时序表创建分析存储。创建分析存储时支持为分析存储配置生命周期TTL和同步方式（包括存量同步和增量同步）。分析存储的生命周期与时序表的数据生命周期相互独立。删除...
Dataphin集成任务写出到Hive的覆盖策略
概述 本文主要描述了Dataphin集成任务写出到Hive的覆盖策略。详细信息 Hive做为输出组件，Hive是以文件的形式存储在HDFS上的，覆盖策略是按照表名前缀，先做清表操作然后再覆盖数据。适用于 Dataphin v3.5.2
Spark应用配置参数说明
Spark Jar开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"Notebook开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"spark-submit命令行工具 key=value spark.sql.hive.metastore.version=adb 指定...
HiveMetastore
云原生数据湖分析（Data Lake Analytics，DLA）支持通过CU版访问用户自建的HiveMetastore。本文主要介绍如何通过DLA连接并查询HiveMetastore里存储在HDFS的数据。前提条件 DLA目前仅支持通过CU版访问HiveMetastore，请确保您已经开通了DLA ...
使用Presto访问
本章节介绍如何通过自建的Presto使用文件引擎。背景信息 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持从GB到PB字节。Presto支持在线数据查询，包括Hive、Cassandra、关系数据库以及专有数据存储。说明 本文中...
将表格存储的增量数据转换为全量数据格式
其中 function_name 为 步骤二：新建并注册函数 中的函数名称，para_list 为 附录：模式选择 中的参数列表，custom_para_list 为自定义参数列表，stream_table_name为增量表的名称，primary_keys 为 表格存储 数据表的主键列表，SequenceID...
使用教程（宽表模型）
表格存储 支持作为实时计算Flink的源表和结果表使用，您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入，每条数据...
与Hive、MySQL、Oracle内建函数对照表
本文为您提供MaxCompute、Hive、MySQL以及Oracle的内建函数对照表，方便您根据Hive、MySQL、Oracle内建函数查找对应的MaxCompute内建函数。日期函数 MaxCompute Hive MySQL Oracle DATEADD 无 无 无 DATE_ADD DATE_ADD DATE_ADD 无 DATE_...
数据集成支持的数据源
本文为您介绍离线集成、实时集成、整库迁移支持的数据源类型。不同集成类型适用场景 集成类型 适用场景 离线集成 适用于数据上云、云上数据迁移到本地业务系统等场景。例如，将本地数据库MySQL的数据迁移至阿里云数据库RDS中。整库迁移 ...
2.0数据类型版本
Hive兼容数据类型：源数据类型如果可以显式转换为表中的数据类型，系统会自动插入转换函数并允许运行。1.0和2.0数据类型版本：源数据类型需要隐式转换为表中的数据类型，否则报错。在Hive模式下成功，在其他模式下报错。create table t(a ...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
通过Spark Distribution SQL Engine开发Spark SQL作业
如需要连接自建的Hive Metastore，可以采用社区Spark的标准配置方式。请参见 Spark Configuration。spark.kubernetes.driverEnv.HIVE_SERVER2_USER 否 Spark Distribution SQL Engine服务的用户名。用户名需包含大写字母、小写字母和数字，...
使用CreateCluster API创建集群
参数值为USER_RDS，对应控制台的 自建RDS。参数值${dbURL}：填写RDS地址，示例值：jdbc:mysql:/rm-bp1qg11xjszt3x3*.mysql.rds.aliyuncs.com/hivemeta 。参数${dbUser}：填写RDS用户名。参数${dbPassword}：填写RDS用户${dbUser}对应的密码...
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
读写吞吐量
当设置的预留读/写吞吐量大于0时，表格存储 会为数据表分配和预留相应的资源，每秒对数据表的访问不超过预留读/写吞吐量时将按照预留读/写吞吐量的单价计费。当设置的预留读/写吞吐量等于0时，表格存储 不会为数据表分配和预留相应的资源。...
代码示例
本文通过示例为您介绍如何使用OSS Sensor、WebHDFS Sensor、Spark Operator、Hive Operator、Bash Operator和给DAG配置告警。背景信息 本文为您介绍以下代码示例：使用OSS Senser 使用WebHDFS Sensor 使用Spark Operator 使用Hive Operator...
功能特性
查看Spark应用信息 Spark应用性能诊断 存储引擎 功能集 功能 功能描述 参考文档 AnalyticDB for MySQL仓存储 玄武分析型存储 玄武分析存储引擎支持行列混存的存储格式，提供了高可靠、高可用、高性能、低成本的企业级数据存储能力，是...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
Spark/Hive/HDFS使用JindoSDK访问OSS-HDFS服务
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详细信息请参见 OSS-HDFS服务概述。...
时序模型
表格存储 的Java SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
时序模型
表格存储 的Go SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
Hive数据源
Hive Writer底层的逻辑和HDFS Writer插件一致，您可以在Hive Writer插件参数中配置HDFS Writer相关的参数，配置的参数会透传给HDFS Writer插件。支持的版本 Hive插件支持的版本 0.8.0 0.8.1 0.9.0 0.10.0 0.11.0 0.12.0 0.13.0 0.13.1 0.14...
DLF统一元数据
切换为MySQL（包括集群内置MySQL、统一meta数据库和自建RDS）：设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据：设置 hive....
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
- 产品推荐
- 这些文档可能帮助您