Insert Into
如下以Hive数据源为例，介绍如何同步数据湖数据到SelectDB中。创建Hive Catalog，即可通过联邦查询访问Hive中的数据，示例如下。CREATE CATALOG test_catalog comment 'hive catalog' PROPERTIES('type'='hms','hive.metastore.uris'='...
配置数据识别规则
详情请参见：CDH Hive数据抽样采集器。进入数据识别规则 登录 DataWorks控制台 后，进入 数据保护伞 页面，操作详情请参见 数据保护伞概述。单击 开始体验，默认进入数据保护伞的 首页。单击左侧导航栏中的 规则配置>敏感数据识别，在 数据...
配置Hive输出组件
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
配置Hive输入组件
Hive输入组件用于读取Hive数据源的数据。同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
Quick BI连接Hive数据源，用户名密码没有修改，过一段...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
Quick BI新建hive数据源后将简单SQL放到数据集中运行...
问题描述 Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException:INTERNAL:java.sql.SQLException:org.apache.spark.sql.catalyst.parser.ParseException，错误情况如下：问题原因 将spark数据源当作hive...
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
Hive数据脱敏
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
Hive
本实例展示如何将Hive数据加载到DLA Ganos进行分析。Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
使用DLF元数据
本文以Hive数据源为例。CREATE EXTERNAL CATALOG hive_catalog properties("type"="hive","hive.metastore.type"="DLF");参数 是否必选 说明 type 是 数据源的类型。支持的数据源类型有hive、hudi、iceberg、deltalake。dlf.catalog.id 否 ...
配置hosts
Presto on ACK提供了自定义hosts功能，当Presto on ACK集群读取EMR on ECS集群的Hive数据时，该功能可以提供正确的域名解析配置。本文为您介绍如何配置hosts。背景信息 如果没有正确配置hosts，则可能遇到以下报错提示。java....
MMA安装与配置
环境准备 其他环境要求根据不同的数据源会有所不同，具体请根据实际情况参见 Hive数据迁移 或 MaxCompute数据迁移。安装Linux操作系统。安装JDK1.8及以上版本的Java。安装MySQL Server 5.7及以上版本。下载并安装与Hive版本对应的MMA工具。...
Quick BI连接hive数据源报错："Required field&39;...
问题描述 Quick BI连接hive数据源报错："Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=group3_dm}。问题原因 hive版本属于cdh hive，quick bi支持的是apache ...
Catalog概述
目前支持创建以下数据源的External Catalog：Hive数据源：用于查询Hive数据。Iceberg数据源：用于查询Iceberg数据。Hudi数据源：用于查询Hudi数据。使用External Catalog查询数据时，StarRocks会用到外部数据源的两个组件：元数据服务：...
访问Hive数据
本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。开通步骤 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID或者目标实例所在行 操作...
异构数据源访问
配置Hive数据源 前提条件 自建Hive集群或具有Hadoop-Common、HDFS、Hive和YARN服务的E-MapReduce集群需与 AnalyticDB PostgreSQL版 实例在同一VPC。已将 AnalyticDB PostgreSQL版 实例的专有网络交换机IP添加至Hive集群所在的安全组。具体...
数据集成支持的数据源
数据集成支持离线集成、实时集成、整库迁移集成方式。本文为您介绍离线集成、实时集成、整库迁移支持的数据源类型...目标准数据源 MaxCompute、Kafka、Hive、DataHub 创建MaxCompute数据源 创建Kafka数据源 创建Hive数据源 创建DataHub数据源
CDH Hive数据抽样采集器
本文为您介绍如何新建CDH Hive数据抽样采集器。前提条件 已购买并创建DataWorks的独享调度资源组。详情请参见：新增和使用独享调度资源组。在工作空间绑定CDH引擎后，您才可以进行CDH数据抽样采集操作，详情请参见 绑定CDH计算引擎。已经...
数据变更最佳实践
更新数据 AnalyticDB MySQL版 提供多种数据更新方式，建议如下：数据更新频率高、基于主键的行级覆盖更新且应用可以补齐所有列，可通过 REPLACE INTO 批量更新数据。数据更新频率低、基于主键更新，可通过 REPLACE INTO 或者 UPDATE 单条...
Hadoop生态外表联邦分析
查看文件 hdfs dfs-ls/data/pxf_examples/pxfwritable_hdfs_textsimple1#查看数据 hdfs dfs-cat/data/pxf_examples/pxfwritable_hdfs_textsimple1/*Frankfurt,Mar,777,3956.98 Cleveland,Oct,3812,96645.37 访问Hive数据 数据格式 PROFILE ...
API概览
UpdateCatalogSettings 更新数据湖Catalog的配置 更新数据湖Catalog的配置，需admin角色以上角色。GetRole 获取数据湖权限中的角色详情 根据角色名获取数据湖权限中的角色。ListRoles 获取数据湖角色列表 获取数据湖角色列表。...
Dataphin同步Hive数据源Textfile格式表，报错“脏数据...
问题描述 Dataphin同步Hive数据源Textfile格式表，可能会遇到以下问题：1.数据中存在与列分隔符相同的字符，这样会导致读取数据错位。2.数据中存在换行符，也会导致报错“脏数据”问题原因 本身Hive Textfile格式文件读取数据时是按照列...
Dataphin离线管道中Hive输出组件配置后报错“获取...
Hive数据源测试连接时也连接失败，提示报错信息“Too many connections”。问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta ...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL...架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created','language':'zh-CN',};
使用须知
建议使用Hive Metastore来管理数据源的元数据，具体请参见 访问Hive数据。Spark SQL lindorm_columnar 读写Lindorm列存使用的数据源。访问Lindorm列存数据（邀测中）lindorm_table 读写Lindorm宽表引擎使用的数据源。访问宽表数据 lindorm_...
Quick BI v5.0版本说明
Hive数据源支持VPC。数据集维度字段支持文件夹管理，支持字段的批量移动。数据填报页面支持批量导入Excel。可视化图表能力增强 新增弧线图，用于标明流量的转化关系。环形图、排行榜、趋势图、桑基图样式配置能力优化。Tab样式及能力升级，...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
阿里云DLF数据源
本文介绍 云数据库 SelectDB 版 与阿里云DLF数据源进行对接使用的流程，帮助您对阿里云DLF数据源进行联邦分析。概述 阿里云Data Lake Formation...列类型映射 连接DLF后SelectDB进行的列类型映射和Hive Catalog一致，详情请参见 Hive数据源。
在EMR集群运行TPC-DS Benchmark
重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。hive-e"drop database tpcds_bin_partitioned_orc_$SF cascade"配置Hive服务地址。tpcds-setup...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
通过整库迁移配置集成任务
Hive数据源 若选择Hive数据源，需要配置以下配置项。文件编码：支持 UTF-8、GBK、ISO-8859-1。Orc表压缩格式：支持 zlib、hadoop-snappy、lz4、none。Test表压缩格式：支持 gzip、bzip2、lzo、lzo_deflate、hadoop_snappy、framing-snappy...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
- 产品推荐
- 这些文档可能帮助您