如何优化高并发IM系统架构
介绍如何使用表格存储的主键增列功能优化高并发IM系统架构。背景 在构建社交IM和朋友圈应用时，最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号...
Hive访问EMR HBase数据
Hive通过内表访问HBase 如果HBase中没有已经创建好的表，则可以在Hive中创建表，Hive会自动把表结构和数据写入到HBase中。本示例是在Hive中新建表访问HBase。执行以下命令，进入Hive命令行。hive 在Hive中创建并查询表数据。执行以下命令，...
Hive访问EMR HBase数据
Hive通过内表访问HBase 如果HBase中没有已经创建好的表，则可以在Hive中创建表，Hive会自动把表结构和数据写入到HBase中。本示例是在Hive中新建表访问HBase。执行以下命令，进入Hive命令行。hive 在Hive中创建并查询表数据。执行以下命令，...
配置Hive输入组件
使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输入组件。更多...
访问Kafka数据
返回结果：Output:kafka record（可选）实践：将Kafka数据导入Hive表 如果您有数据分析等相关需求，可以参考以下步骤将Kafka中的数据导入Hive表。假设域名接入点为kafka_addr:9092，topic名称为topic1的Kafka实例中有两条写入时间在2023-04...
生成keytab配置文件
ktadd-k/tmp/hive.keytab-glob hive 查看keytab配置文件的正确性。在Linux的终端，执行如下命令切换至Hive用户。su-hive 在Linux的终端，使用 kinit 命令，缓存Hive principal和keytab文件，并使用 klist 命令，查看是否缓存成功。缓存Hive...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
通过数据湖元数据DLF读写Hudi
mkdir/etc/taihao-apps/hive-conf scp root@节点内网的IP地址>:/etc/taihao-apps/hive-conf/hive-site.xml/etc/taihao-apps/hive-conf/步骤二：启动Flink SQL 重要 务必将DLF的依赖包放置在Hive依赖包的前面，其中DLF依赖包中嵌入了Hudi的...
时序表操作
时序模型通过时序表存储时间序列数据，单表能提供高并发写入和查询以及PB级海量数据的低成本存储。创建时序表时，您可以配置数据生命周期 和为时序表创建分析存储。创建时序表后，您可以根据实际管理时序表，例如获取实例中的所有时序表...
访问JDBC外表
JDBC开发实践 JAR作业开发实践 Python作业开发实践 访问示例一：读取外部JDBC数据表（db0.mysql_tbl0）并关联Hive表（hive_tbl0），将结果写入Hive表（hive_tbl1）。INSERT INTO spark_catalog.default.hive_tbl1 SELECT A.col0,A.col1,A....
常见问题
Impala无法找到Hive新增的表，该怎么办？Impala写入Hive表数据的时候，是否可以修改写入文件的owner？如何调整Impalad可使用的节点内存总量？如何限制单条查询语句消耗内存的大小？如何提升非JOIN语句的查询效率？Ranger开启Impala后，新扩...
通过SDK使用时序模型
查看时序表的分析存储配置。for(TimeseriesAnalyticalStore store:analyticalStores){/查看分析存储名称。System.out.println(store.getAnalyticalStoreName());查看分析存储TTL配置。System.out.println(store.getTimeToLive());查看分析...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
Zeppelin概述
在Zeppelin的Notebook页面，您可以执行以下命令查看表信息。presto 表示执行Presto SQL代码，您无需配置，Zeppelin会自动连接到EMR集群的Presto服务。presto show tables;select*from test_1;返回信息如下所示。如何使用Impala 在Zeppelin...
Dataphin管道任务失败，报错“error occurred where ...
Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式的表，可以追加字段，只要不读取新加的字段就行，而ORC和Parquet格式是具有Schema的，一定要保证写入的数据文件的...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
GetBucketLocation
GetBucketLocation 接口用于查看存储空间（Bucket）的位置信息。只有Bucket的拥有者才能查看Bucket的位置信息。请求语法 GET/?location ...
监控与日志
您可以通过OpenAPI直接调用云监控的 DescribeMetricList 接口查看表格存储实例的InstanceCU、InstanceReadCU、InstanceCount2xxNumber等监控数据以及数据表或者二级索引表的AverageLatency、Count2xxNumber、ReadCU等监控数据。通过云监控...
概述
列式存储 Kudu是一种列数据储存结构，同一列的数据被存储在底层存储的相邻位置。表（Table）数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性，且可以划分为多个Tablet。分片（Tablet）一个表可以被分到若干个分片中，称为...
Hive访问TableStore数据
本文通过示例为您介绍EMR Hive作业如何处理TableStore中的数据。前提条件 已创建DataLake集群，详情请参见 创建集群。已登录集群，详情请参见 登录集群。已获取下方JAR包并上传到集群。JAR包名称 获取方法 参考下载链接 emr-tablestore-X.X...
Hive连接方式
本文为您介绍在E-MapReduce集群提交Hive SQL的三种方式。前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。注意事项 本文示例中需替换的参数：<主节点的节点名称>：您可以在EMR控制台目标集群的 节点管理 页面获取，具体操作...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
常用文件路径
例如，执行命令 env|grep hive，查看Hive的安装目录。JINDOTABLE_EXTRA_CLASSPATH=opt/apps/METASTORE/metastore-current/hive2 HIVE_HOME=opt/apps/HIVE/hive-current HIVE_LOG_DIR=var/log/taihao-apps/hive HIVE_CONF_DIR=etc/taihao-...
EMR-3.36.x版本说明
优化文件系统与MetaStore不一致时写Hive表的报错信息。HDFS 支持ZSTD（Zstandard）压缩格式。Flink 升级Flink至1.12-vvr-3.0.2版本。说明 Hadoop集群中的Flink已移除。Hudi 升级Hudi至0.8.0版本。支持和Spark SQL集成。Spark 优化E-...
EMR-5.2.x版本说明
优化文件系统与MetaStore不一致时写Hive表的报错信息。HDFS 支持ZSTD（Zstandard）压缩格式。Delta Lake 升级Delta Lake至0.8.0版本。支持Spark 3。Flink 升级Flink至1.12-vvr-3.0.2版本。Hudi 升级Hudi至0.8.0版本。支持和Spark SQL集成。...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
资源包选购案例
在 创建数据透视表 对话框，选择要分析的数据为表中的数据区域，选择要放置数据透视表的位置为新工作表，单击 确定。在新工作表中配置数据透视表字段。在 行 区域中，将行数据按照 实例类型、地域、实例名称、表名称 排列。在 值 区域中，...
Hive巡检项及服务关键指标说明
本文介绍Hive巡检项及其服务关键指标说明。重要 部分非DataLake集群开启LDAP后，虽然使用HiveServer2可以正常连接并运行作业，但是巡检项一直报错 hive_server_availability_status failed。此时，您可以关闭巡检项或者新建一个最新版本的...
环境准备
使用Hive/HadoopMR来访问表格存储中的表前，您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
Dataphin管道任务同步数据，hive源表报错“ERROR ...
问题描述 Dataphin管道任务同步数据，hive源表报错“ERROR DlinkTaskPluginCollector-脏数据”。问题原因 hive源表字段数据中有单个双引号，导致同步时数据分割错了，抛出了“ERROR DlinkTaskPluginCollector-脏数据”错误。解决方案 可以...
Hive连接器
hive.recursive-directories 是否允许从表或分区所在位置的子目录读取数据，类似Hive的 hive.mapred.supports.subdirectories 属性，默认为true。hive.non-managed-table-writes-enabled 是否启用对非托管（外部）Hive表的写入，默认为true...
快速使用EMR Notebook
您可以在EMR控制台Hive服务的 配置 页面，查看 hive.server2.thrift.port 的参数值。数据库 待访问的Hive数据库名称。访问方式 支持以下访问方式：LDAP：EMR集群中设置的用户名和密码，详情请参见 管理用户。免密登录：仅需设置用户名。...
Dataphin中从SAP HANA向Hive同步数据后数据精度丢失
问题描述 Dataphin中从SAP HANA...问题原因 从Hive中表结构可以看出，字段定义的是decimal(10,0)格式，因此同步到Hive数据只有整数。解决方案 修改Hive中对应字段格式，需要具有小数位数。适用于 适用产品：Dataphin 适用版本：独立部署3.9.1
Paimon数据源
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。基于FileSystem创建Catalog 重要 SelectDB 2.X及之前版本，请参见 基于Hive Metastore创建Catalog。此处以HDFS为例：CREATE CATALOG `paimon_hdfs` PROPERTIES...
Dataphin支持的实时数据源
存储类型 数据源类型 读 写 维表读 大数据存储 Apache Hive 支持 支持 支持 Doris 支持（flink1.14及flink1.15）支持（flink1.14及flink1.15）-数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式）-Paimon ...
Jindo Job Committer使用说明
这三个参数分别用来设置写入数据到Spark DataSource表、Spark Parquet格式的DataSource表和Hive表时使用的Job Committer。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。进入SmartData...
Jindo Job Committer使用说明
这三个参数分别用来设置写入数据到Spark DataSource表、Spark Parquet格式的DataSource表和Hive表时使用的Job Committer。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。进入SmartData...
- 产品推荐
- 这些文档可能帮助您