数据源Hive
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
创建集群
选择 OSS-HDFS 模式时，还需配置 HBase存储路径，建议选择开通了HDFS服务的Bucket。仅EMR-5.12.1及后续版本，EMR-3.46.1及后续版本，选择了OSS-HDFS和HBase服务后，还需配置以下参数。集群创建完成后，会生成一个HBase-HDFS服务，详情请...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
迁移服务（MMA）
数据库黑名单 不需要迁移的Hive数据库，多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
查看数据库存储用量
您可以在 PolarDB 控制台查看当前集群的数据库存储用量。本文将介绍如何查看数据库存储用量。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在 基本信息 页面的 数据库分布式存储 区域，查看...
查看数据库存储用量
您可以在 PolarDB 控制台查看当前集群的数据库存储用量。本文将介绍如何查看数据库存储用量。操作步骤 登录 PolarDB控制台。在左侧导航栏单击 集群列表。在左上角，选择集群所在地域。找到目标集群，单击集群ID。在 基本信息 页面的 数据库...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
Dataphin即席查询报错："Can not read value at 0 in ...
问题描述 Dataphin集成任务同步成功，在即席查询中查询目标表报错："java.io.IOException:parquet.io.ParquetDecodingException:Can not read value at 0 in...解决方案 hive数据库作为输出组件时，表中所有字段必须全部映射。适用于 Dataphin
如何迁移到DBFS？
本文档主要为您说明在使用阿里云数据库存储DBFS时，如何方便的将数据库迁移到DBFS上。一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步数据到自建于DBFS上的数据库。DTS：使用阿里云产品DTS，将数据迁移到自建于DBFS...
数据库支持说明
本文为您介绍了数据库存储服务DBFS目前支持及推荐使用的数据库及OS版本。正式商用 正式商用推荐使用的数据库列表：MySQL 5.7.x PostgreSQL 10.x MongoDB 4.4 正式商用推荐使用的Linux版本：Alibaba Cloud Linux 2.1903 64位 CentOS 8.x 64...
安装目录
本文主要说明阿里云数据库存储服务DBFS创建后的安装目录。DBFS安装目录说明：DBFS服务申请成功后，将会在用户的ECS中创建“/opt/dbfs/”目录，请用户务必不要删除此目录：/opt/dbfs/app/：DBFS服务二进制软件目录。opt/dbfs/data/：DBFS...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
使用限制
不支持 Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据...
欠费说明
本文主要说明您的数据库存储DBFS会在什么情况下产生欠费，以及欠费之后的注意事项。欠费场景 当您的DBFS服务处于以下情况时，将产生欠费：您绑定的账户余额不足。注意信息 如果您的DBFS服务产生欠费，请知悉：当DBFS服务处于欠费状态，DBFS...
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
ListMetaDB
Type String HIVE 数据库的类型。CreateTimeStamp Long 1388776825 创建数据库的时间。该结果显示为时间戳，您可以根据使用的时区将时间戳转换为相应日期。UUID String 32342 数据库的唯一标识。ModifiedTimeStamp Long 1388776837 更新...
DescribeDbInstanceDbs
调用DescribeDbInstanceDbs接口查看目标存储实例下的数据库列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
Kafka实时入湖建仓分析
数据库路径：/lakehouse123/testlakehouse2324/。表路径：/lakehousetest123/testlakehouse2324/dlatest。表文件路径：/lakehousetest123/testlakehouse2324/dlatest/day=2021-8-11。重要 请勿删除从Kafka数据源同步过来的库表文件，否则会...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
Hive数据脱敏
test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...
元数据管理常见问题
mysql-h${DBConnectionURL}-u${ConnectionUserName}-p 登录Hive数据库后，修改Location为该Region真实存在的OSS路径即可。如何登录内置的MySQL？通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，登录内置的MySQL。mysql-uroot-...
行业趋势与背景
2021年，我们完成原DRDS SQL引擎和X-DB数据库存储技术的融合，并结合PolarDB的云原生特性，承上启下推出了新一代的云原生分布式数据库，就此开启了 PolarDB-X 2.0时代。该时代的产品专注解决单机解决不好的分布式扩展性问题，满足分布式...
向量召回模型拆分
type，取值如下：best-final-latest 无PAI命令参数，对应config文件内的 exporter_type:"best"final user模型输出路径 否 user模型输出路径，如果您没有配置该参数，您需要单击空白画布，在 工作流属性 页签中配置 工作流数据存储路径。...
计费说明
本文介绍阿里云产品DBFS服务的计量项及计费...主要用于业务稳定的生产数据库存储等。常见问题 开通DBFS服务后，就开始计费吗？仅开通DBFS服务，不会产生费用，购买DBFS实例成功后开始计算费用。挂载点计费方式？不针对挂载点进行单独计费。
Schema管理
Schema是数据库的命名空间，它是一个数据库内部的对象（表、索引、视图、存储过程、操作符）的集合。Schema在每个数据库中是唯一的。每个数据库都有一个名为public的默认Schema。如果用户没有创建任何Schema，对象会被创建在public schema...
配置Hive输出组件
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
GetMetaDBInfo
Type String hive 数据库类型 Comment String 备注 备注 CreateTime Long 1541576644000 创建引擎的时间。ProjectId Long 22 工作空间ID。ProjectName String test 工作空间的名称。AppGuid String odps.engine_name 引擎ID，格式为引擎...
DLA Lakehouse实时入湖
存储路径 DLA Lakehouse数据在OSS中的存储路径。说明 请谨慎规划存储路径，创建后不允许修改。建议选择一个空目录，且不能与之前创建的湖仓目录有互相包含关系，防止历史数据被覆盖。编码 存储数据的编码类型，当前仅⽀持⽬标存储数据编码...
整库迁移与批量上云
来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB AnalyticDB for MySQL2.0 AnalyticDB for MySQL 3.0 AnalyticDB for PostgreSQL HybridDB for MySQL DRDS（PolarDB-X）DM Hive DB2 ApsaraDB for ...
将Oracle数据同步到表格存储
当数据库有域名时，Service Name与Global DB Name相同；当数据库无域名时，Service Name与数据库名称相同。数据库地址 数据库连接地址。端口 数据库的服务端口。SID 数据库实例名。当 连接方式 选择为 SID 时需要配置此参数。Service Name ...
HDFS数据源
类型分类 数据集成column配置类型 Hive数据类型 整数类 long tinyint、smallint、int和bigint 浮点类 double float和double 字符串类 string string、char、varchar、struct、map、array、union和binary 日期时间类 date date和timestamp ...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
MySQL高可用实践
本文为您说明如何基于阿里云数据库存储服务DBFS来实现MySQL的高可用构建。优势说明 如何保证数据库服务的高可用性，一直是业界讨论的重要课题之一。下面就主要的两种解决方案进行对比说明：对比项 基于DBFS共享存储构建 基于主备同步方式...
查看集群日报与分析
Hive库信息 Hive库信息包含以下部分：Hive库详细信息 Hive库文件大小分布Top信息 Hive库冷热数据分布Top信息 Hive库存储格式分布Top信息 Hive库详细信息提供以下数据：存储使用量排名：名称、存储量，日环比和日增量。文件数量排名：名称、...
- 产品推荐
- 这些文档可能帮助您