访问Hive数据
本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。开通步骤 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID或者目标实例所在行 操作...
异构数据源访问
提供以下功能：多种数据存储访问：支持多种数据存储系统，允许 AnalyticDB PostgreSQL版 数据库直接访问存储在HDFS、Hive、MySQL，PostgreSQL，PolarDB MySQL等多种外部系统中的数据。数据格式透明：支持常见的数据格式，如CSV、ORC、...
Dataphin中从SAP HANA向Hive同步数据后数据精度丢失
问题描述 Dataphin中从SAP HANA...问题原因 从Hive中表结构可以看出，字段定义的是decimal(10,0)格式，因此同步到Hive数据只有整数。解决方案 修改Hive中对应字段格式，需要具有小数位数。适用于 适用产品：Dataphin 适用版本：独立部署3.9.1
元数据性能测试
注意事项 在进行open_read、rename、delete测试之前要确保 文件存储 HDFS 版 上已存在待测数据。如果不存在待测数据，请先使用create_open创建待测数据。测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 ...
Quick BI连接Hive数据源，用户名密码没有修改，过一段...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
Dataphin支持的实时数据源
存储类型 数据源类型 读 写 维表读 大数据存储 Apache Hive 支持 支持 支持 Doris 支持（flink1.14及flink1.15）支持（flink1.14及flink1.15）-数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式）-Paimon ...
CDH Hive数据抽样采集器
本文为您介绍如何新建CDH Hive数据抽样采集器。前提条件 已购买并创建DataWorks的独享调度资源组。详情请参见：新增和使用独享调度资源组。在工作空间绑定CDH引擎后，您才可以进行CDH数据抽样采集操作，详情请参见 绑定CDH计算引擎。已经...
Hadoop集群迁移至DataLake集群
数据存储架构：分析旧集群的数据存储架构（本地HDFS、OSS、JindoFS block模式），为后续数据迁移路径设计提供依据。用户认证&鉴权架构：确认是否使用旧平台集群OpenLDAP、Ranger、Kerberos等服务，确保迁移后的新架构能够无缝继承现有的...
开通并授权访问OSS-HDFS服务
禁止以非OSS-HDFS提供的方式对OSS-HDFS的数据存储目录.dlsdata/及目录下的Object执行写入操作，例如重命名目录、删除目录或者删除Object等，否则会影响OSS-HDFS服务的正常使用或者引发数据丢失的风险。在删除已开通OSS-HDFS服务的Bucket...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
Quick BI连接hive数据源报错："Required field&39;...
问题描述 Quick BI连接hive数据源报错："Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=group3_dm}。问题原因 hive版本属于cdh hive，quick bi支持的是apache ...
与Hive、MySQL、Oracle数据类型映射表
MaxCompute数据类型 Hive数据类型 Oracle数据类型 MySQL数据类型 BOOLEAN BOOLEAN 无 说明 Oracle自23C开始有此数据类型。无 说明 使用过程用 TINYINT(1)替代。TINYINT TINYINT NUMBER(3,0)TINYINT SMALLINT SMALLINT NUMBER(5,0)SMALLINT ...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
配置hosts
Presto on ACK提供了自定义hosts功能，当Presto on ACK集群读取EMR on ECS集群的Hive数据时，该功能可以提供正确的域名解析配置。本文为您介绍如何配置hosts。背景信息 如果没有正确配置hosts，则可能遇到以下报错提示。java....
添加HDFS数据源
添加HDFS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎能够读取HDFS的数据，如果您要将HDFS数据导入到 云原生多模数据库 Lindorm 宽表中，需要先添加HDFS数据源。本文介绍如何添加HDFS数据源。前提条件 已购买LTS数据同步服务，具体...
MMA安装与配置
环境准备 其他环境要求根据不同的数据源会有所不同，具体请根据实际情况参见 Hive数据迁移 或 MaxCompute数据迁移。安装Linux操作系统。安装JDK1.8及以上版本的Java。安装MySQL Server 5.7及以上版本。下载并安装与Hive版本对应的MMA工具。...
上海新能源汽车车辆基础数据
基于Lindorm HDFS大数据存储方案，满足海量数据ETL和分析需求。云原生数据湖分析（简称DLA）Spark分析引擎满足在线交互式查询、流处理、批处理、机器学习等业务诉求。客户价值 Lindorm宽表引擎批量写入、高效压缩，线性扩展等特性使得数据...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
阿里云DLF数据源
本文介绍 云数据库 SelectDB 版 与阿里云DLF数据源进行对接使用的流程，帮助您对阿里云DLF数据源进行联邦分析。概述 阿里云Data Lake Formation（DLF）是阿里云上的统一元数据管理服务，兼容Hive Metastore协议。SelectDB 可以像访问 Hive ...
数据存储目录结构说明
本章介绍文件引擎(LindormDFS)默认的数据存储目录结构。目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如...
配置HDFS输出组件
HDFS输出组件用于向HDFS数据源写入数据。同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
HDFS
如果您的数据存储在HDFS中，需先确认HDFS源访问正常，测试闪电立方与HDFS源端之间网络连通性，并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。前提条件 源端HDFS已通过网线直连...
ModifyFileSystem-修改文件系统属性
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
产品优势
海量存储，支持上百TB级别数据 采用分布式块存储设计和文件系统，使得存储容量不限制于单节点的规格，能够轻松扩展，应对上百TB级别的数据规模。高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）...
Hive作业调优
Hive的文件基本上都是存储在HDFS上，而HDFS上的文件，都是分块的，所以具体的Hive数据文件在HDFS上分多少块，可能对应的是默认Hive起始的Task的数量，使用 default_mapper_num 参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...
SmartData 3.6.x版本简介
JindoTable 支持查询加速HDFS存储上的数据 JindoTable NativeEngine查询加速引擎新增支持HDFS存储，Spark和Presto能够通过NativeEngine高效读取HDFS文件。JindoTable支持分析OSS访问日志 支持使用SQL语句分析OSS访问日志。JindoFuse 此版本...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
配置HDFS输入组件
同步HDFS数据源的数据至其他数据源的场景中，您需要先配置HDFS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HDFS输入组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性...
通过DataWorks导入
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍如何通过DataWorks将HDFS数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
使用须知
建议使用Hive Metastore来管理数据源的元数据，具体请参见 访问Hive数据。Spark SQL lindorm_columnar 读写Lindorm列存使用的数据源。访问Lindorm列存数据（邀测中）lindorm_table 读写Lindorm宽表引擎使用的数据源。访问宽表数据 lindorm_...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
数据湖生态接入
EMR 在EMR Hive或Spark中访问OSS-HDFS Flink EMR Flink写入OSS-HDFS服务 实时计算Flink读写OSS或者OSS-HDFS Flume 使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务 HBase HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储 Hive Hive以...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
快速使用EMR Notebook
数据库 待访问的Hive数据库名称。访问方式 支持以下访问方式：LDAP：EMR集群中设置的用户名和密码，详情请参见 管理用户。免密登录：仅需设置用户名。网络检测 单击 测试连通性，可以测试网络连通性。单击 添加数据库。步骤三：新建...
JDBC开发实践
以Hive数据为例，开通Lindorm Hive服务后您可以通过以下方式建表和读写数据。开通方法请参见 开通Hive服务。CREATE TABLE test(id INT,name STRING);INSERT INTO test VALUES(0,'Jay'),(1,'Edison');SELECT id,name FROM test;使用Java访问...
- 产品推荐
- 这些文档可能帮助您