新建ArgoDB数据源
参数 描述 JDBC URL 配置连接ArgoDB的JDBC URL，格式为 jdbc:hive2/host:port/dbname。认证方式 如果ArgoDB集群无需认证，则选择 无认证；如果Inceptor集群需要认证，Dataphin支持选择 LDAP 或 Kerberos，您可以根据实际情况进行选择，详细...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持...Holo-Hive-connector 适用于Hive写入Hologres的场景，支持Hive2.x、3.x及以上版本，提供高性能的写入。
EMR-3.43.x版本说明
发行版本信息 DataLake集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.0 Tez 0.10.1 Presto 389 DeltaLake 2.1.0 Hudi 0.12.0 Iceberg 0.14.0 JindoData EMR-3.43.1版本：4.6.0 EMR-3.43.0版本：4.5.1 Kyuubi 1...
EMR-3.42.x版本说明
发行版本信息 DataLake集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.2.1 TEZ 0.10.1 Presto 389 DeltaLake 0.6.1 Hudi 0.11.1 Iceberg 0.13.1 JindoData 4.4.1 Kyuubi 1.5.1 Knox 1.5.0 Impala 3.4.0 OpenLDAP ...
Spark本地调试环境搭建
sql_2.12</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-hive_2.12</artifactId><version>${spark.version}</version></dependency>案例 下面为您介绍...
新建ArgoDB计算源
参数 描述 JDBC URL 配置Hive Server的JDBC连接地址，格式为 jdbc:hive2:/InceptorServerIP:Port/Database。认证方式 选择ArgoDB的认证文件。您需要根据引擎情况进行选择，支持选择 无认证、LDAP、Kerberos：无认证：即没有认证。LDAP：...
EMR-3.40.x版本说明
Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark 2.4.8 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 Iceberg 0.13.1 DLF-Auth 2.0.0 Hudi 0.10.1 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
创建TDH Inceptor计算源
参数 描述 JDBC URL 配置Hive Server的连接地址，格式为 jdbc:hive2:/{连接地址}:{端口}/{数据库名称}。认证方式 选择Inceptor的认证文件。您需要根据引擎情况进行选择，支持选择 无认证、LDAP、Kerberos：无认证：即没有认证。LDAP：需要...
Hudi
内置阿里云OSS存储，低成本存储，弹性扩展 数据以开放的Parquet、Avro格式存储在阿里云OSS，存储计算分离，资源灵活弹性扩展。使用限制 仅Flink计算引擎vvr-4.0.11-flink-1.13及以上版本支持Hudi Connector。文件系统仅支持HDFS或阿里云OSS...
新建存储过程
概述 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存...
概述
不涉及 Alibaba PolarDB for MySQL 阿里云 5.6、5.7、8.0.1、8.0.2版本 仅支持中心Region Oracle 阿里云 11.0版本 所有Region Hive/Apache hive 2.0.1到2.3.3版本 不涉及 Alibaba 对象存储 OSS 阿里云 不涉及 Alibaba PolarDB分布式版...
支持的数据库类型
HBase（thrift）thrift1、thrift2 Hive 1.X、2.X、3.X Cassandra 3.X HDFS 所有版本 Impala 3.X Greenplum 5、6 Spark SQL（thrift）1.x、2.x Spark SQL（RESTful）1.x、2.x SSDB 所有版本 MAX COMPUTE 所有版本 图形 Graphbase 6 ArangoDB...
功能特性
服务器端加密 客户端加密 OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。客户端加密 合规保留策略 OSS保留策略具有WORM（Write Once Read ...
管理报警
HiveServer2 hive_server_memory_heap_used/hive_server_memory_heap_max 每分钟检查一次指标数据是否平均值>95%，持续2个周期，满足条件则触发告警。HiveServer2 hive_server_threads_deadlock_count 每分钟检查一次指标数据是否平均值>50...
参数配置
storage_min_left_capacity_bytes 2*1024*1024*1024 BE存储目录下剩余空间的最小值，默认2 GB。storage_flood_stage_left_capacity_bytes 1*1024*1024*1024 BE存储目录的剩余空间。如果剩余空间小于该值，则会拒绝Load Restore作业。默认1 ...
PL 编译和调试
前提条件 ODC PL 支持现状 功能 支持的对象 支持的数据源 支持版本 编译 函数/存储过程/程序包 OceanBase Oracle、OB Cloud Oracle V2.2.7x、V3.0.0 及之后版本。调试 函数/存储过程/匿名块 OceanBase Oracle V3.2.3 及之后版本。运行 函数...
存储过程
您在使用存储过程时，可以指定存储过程的名字并使用参数（parameters），并在合适的时候调用存储过程实现相同或者不同的业务。本文将介绍存储过程的使用方法。背景信息 AnalyticDB PostgreSQL 6.0版 中，函数（Function）虽然可以实现大...
创建存储过程
存储过程是作为单个 SPL 程序语句调用的独立 SPL 程序。调用时，存储过程可选择以输入参数的形式从调用方接收值，并可选择以输出参数的形式向调用方返回值。CREATE PROCEDURE 命令可定义并命名一个将存储在数据库中的独立存储过程。如果...
概述
通过将SPL代码组织为子存储过程和子函数，可以有利地运用SPL存储过程和函数程序的能力和功能来构建结构良好且易于维护的程序。通过在SPL程序中声明子存储过程和子函数，可从相对较大的SPL程序中的不同位置多次调用相同的SPL代码。子存储...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
环境准备
mkdir-p/home/admin/hive-2.1.0 tar-zxvf apache-hive-2.1.0-bin.tar.gz-C/home/admin/mv/home/admin/apache-hive-2.1.0-bin/home/admin/hive-2.1.0/按照如下示例初始化schema。进入指定的目录。cd/home/admin/hive-2.1.0/apache-hive-2.1....
EMR Hive功能增强
EMR-3.27.2 Hive 2.3.5 hcatalog表支持magic committer。移除一些过时的默认配置。EMR-3.26.3 Hive 2.3.5 hcatalog表支持direct committer。EMR-3.25.0 Hive 2.3.5 修复自动LOCAL模式下MR任务执行失败的问题 EMR-3.24.0 Hive 2.3.5 增加SQL...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
sql-client.sh-j/opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/ververica-connector-hive-2.3.6-1.*-SNAPSHOT-jar-with-dependencies.jar-j/root/jackson-core-2.12.1.jar-j/root/jackson-databind-2.12.1.jar-j/root/jackson-...
通过数据湖元数据DLF读写Hudi
sql-client.sh \-j/opt/apps/FLINK/flink-current/opt/catalogs/dlf/ververica-connector-dlf-1.13-vvr-4.0.15-SNAPSHOT-jar-with-dependencies.jar \-j/opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/ververica-connector-hive-2...
2020-10-27版本
重要 仅支持Hive Metastore 2.3.6版本。Hive Metastore暂不支持Kerberos方式认证。支持快速配置监控告警：您可以直接在Flink全托管开发控制台上快速配置报警策略，不用跳转到应用实时监控服务ARMS进行。详情请参见 配置监控告警（在Flink全...
整库迁移与批量上云
去向数据源 来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB AnalyticDB for MySQL2.0 AnalyticDB for MySQL 3.0 AnalyticDB for PostgreSQL HybridDB for MySQL DRDS（PolarDB-X）DM Hive DB2 ApsaraDB ...
配置CDH6使用文件存储 HDFS 版
USER|1629702940|1828|NULL|hdfs:/cdh6-master:8020/user/hive/warehouse/tpcds_bin_partitioned_orc_2.db|tpcds_bin_partitioned_orc_2|hive|USER|1629703145|+-+-+-+-+-+-+-+3 rows in set(0.00 sec)更新DBS表中原HDFS地址为 文件存储 ...
文件存储 HDFS 版和数据库MySQL双向数据迁移
export HADOOP_COMMON_HOME=usr/local/hadoop-2.8.5 export HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME export HIVE_HOME=usr/local/apache-hive-2.3.9-bin#若没有安装hive可不必添加此配置 执行 cp${HIVE_HOME}/lib/hive-common-2.3.9.jar${...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
什么是OSS-HDFS服务
OSS-HDFS服务（JindoFS服务）是一个云原生数据湖存储功能。基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留...
EMR-3.23.x版本说明
解决升builtin hive至2.3版本后orc格式读写问题。支持merge into语法。支持scan和stream语法。Structured Streaming Kafka sink支持EOS。delta更新至0.4.0。Hive 删除老版本的hive hook。添加支持多个count distinct字段的数据倾斜处理优化...
EMR Spark功能增强
解决升builtin hive至2.3版本后orc格式读写问题。支持merge into语法。支持scan和stream语法。Structured Streaming Kafka sink支持EOS。delta更新至0.4.0。EMR-3.22.1版本 Spark 2.4.3 Relational Cache 支持Relational Cache，Relational...
使用Hive访问
nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service metastore&nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service hiveserver2&验证Apache Hive 在hive Shell中创建一张表。create table test(f1 INT,f2 STRING);在表中写入...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
产品计费
其他费用 在使用云存储网关过程中，除了云存储网关收费的计费项之外，还有其他费用支出。OSS使用费用 云存储网关中的OSS资源归您所有，网关访问OSS产生的费用由OSS产品向您收取，这些费用包括存储费用、流量费用、请求费用和数据取回费用，...
流计算
可选服务：Spark2、Hive、YARN、Hadoop-Common、HDFS。元数据：内置MySQL。同时确保打开 Master节点组 下的 挂载公网 开关，其余配置项使用默认值即可。重要 不开启 挂载公网，创建后只能通过内网访问。创建后如果您需要公网访问，请前往 ...
批计算
可选服务：Spark2、Hive、YARN、Hadoop-Common、HDFS。元数据：内置MySQL。同时确保打开 Master节点组 下的 挂载公网 开关，其余配置项使用默认值即可。重要 如果不开启挂载公网开关，则创建后只能通过内网访问。创建后如果您需要公网访问...
在文件存储 HDFS 版上使用Presto
connector.name=hive-hadoop2 hive.metastore.uri=thrift:/xxxx:9083#xxxx为启动 hive 元数据服务的ip地址 hive.config.resources=path/to/core-site.xml#请替换为该节点上已挂载文件存储HDFS版的Hadoop core-site.xml路径 编译并替换JAR包...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
Hive指标
Hive指标包含以下部分：HIVE-HiveServer2 HIVE-MetaStore HIVE-HiveServer2 参数 指标 描述 JVM MemHeapInit hive_server_memory_heap_init JVM初始化堆内存。单位：Byte。JVM MemHeapCommitted hive_server_memory_heap_committed JVM已...
- 产品推荐
- 这些文档可能帮助您