创建数据库数据源概述
本文为您介绍创建数据库数据源创建入口、支持的数据源和连通方案。创建数据源入口 请登录 Quick BI控制台，并按照图示的任意一种方式，进入创建数据源界面。入口一：在空间外资源入口快速创建 入口二：从空间内数据源模块创建 入口三：在...
查看连接地址
专有网络 公网 JAR作业开发实践 Hive Metastore地址 通过SQL访问Hive数据（连接地址为图示中③）Lindorm 专有网络 访问Hive数据 查看流引擎连接地址 查看流引擎的连接地址前，请确保已开通Lindorm流引擎。如果您需要使用公网地址连接流引擎...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 ...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
配置MaxCompute输出组件
如果Hive数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置MaxCompute输出组件
如果Hive数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
JindoFS实战演示
如何将Hive数据按照分区归档到OSS 如何将Hive数据按照分区归档到OSS 2021-05-18 传统集群架构存在很多问题，例如存储量与计算量无法一直匹配、存储无法水平扩展、存储与计算竞争硬盘资源等。为了解决这些问题，您可以将HDFS中的热数据保留...
Insert Into
如下以Hive数据源为例，介绍如何同步数据湖数据到SelectDB中。创建Hive Catalog，即可通过联邦查询访问Hive中的数据，示例如下。CREATE CATALOG test_catalog comment 'hive catalog' PROPERTIES('type'='hms','hive.metastore.uris'='...
管理数据库
数据库 待访问的Hive数据库名称。可选参数。访问方式 支持以下访问方式：LDAP：需设置用户名和密码。EMR集群中设置的用户，详情请参见 管理用户。免密登录：仅需设置用户名。网络检测 单击 测试连通性，可以测试网络连通性。StarRocks 参数...
通过整库迁移配置集成任务
Hive数据源 若选择Hive数据源，需要配置以下配置项。文件编码：支持 UTF-8、GBK、ISO-8859-1。Orc表压缩格式：支持 zlib、hadoop-snappy、lz4、none。Test表压缩格式：支持 gzip、bzip2、lzo、lzo_deflate、hadoop_snappy、framing-snappy...
功能特性
Hive数据导入 HDFS数据源 AnalyticDB for MySQL支持通过外表、DataWorks两种方式将HDFS数据导入至数仓版或湖仓版集群，也支持通过外表将AnalyticDB for MySQL数仓版集群中的数据导出至HDFS。HDFS数据导入 导出至HDFS Tablestore数据源 ...
Hadoop生态外表联邦分析
查看文件 hdfs dfs-ls/data/pxf_examples/pxfwritable_hdfs_textsimple1#查看数据 hdfs dfs-cat/data/pxf_examples/pxfwritable_hdfs_textsimple1/*Frankfurt,Mar,777,3956.98 Cleveland,Oct,3812,96645.37 访问Hive数据 数据格式 PROFILE ...
Hudi存储
同时支持热点数据自动打散，解决数据倾斜问题，大幅提升写入稳定性。分区级生命周期管理 支持设置多种策略，如按分区数、按数据量和按过期时间策略管理分区数据生命周期，同时支持并发设置生命周期管理策略，进一步降低存储成本。异步Table...
ListMetaDB
Type String HIVE 数据库的类型。CreateTimeStamp Long 1388776825 创建数据库的时间。该结果显示为时间戳，您可以根据使用的时区将时间戳转换为相应日期。UUID String 32342 数据库的唯一标识。ModifiedTimeStamp Long 1388776837 更新...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
支持的数据源及同步方案
GBase8a数据源-Graph Database（GDB）数据源-HBase数据源 HBase Reader：HBase20xsql Reader：HBase Writer：HBase 11xsql Writer：HDFS数据源-Hive数据源-Hologres数据源-HttpFile数据源-HybridDB for MySQL数据源-IoT数据源-Kafka数据源-...
Spark作业异常排查及处理
Spark使用代码读取Hive数据时，出现NoSuchDatabaseException:Database 'xxx' not found 查看初始化SparkSession的时候，是否执行了.enableHiveSupport()。如果没有执行，则需要手动执行。查看是否有代码执行了 new SparkContext()。如果有...
偏分析场景的实践和优化
当数据量过大或者有数据倾斜时，二级分区的选择至关重要，如果数据量大的表中没有二级分区或者二级分区切分不合理，也会影响性能。如果业务明确有增量数据导入需求，主要是对最近数据的报表分析，那么建议用日期格式做二级分区，避免对历史...
GetMetaDBInfo
Type String hive 数据库类型 Comment String 备注 备注 CreateTime Long 1541576644000 创建引擎的时间。ProjectId Long 22 工作空间ID。ProjectName String test 工作空间的名称。AppGuid String odps.engine_name 引擎ID，格式为引擎...
HDFS数据源
类型分类 数据集成column配置类型 Hive数据类型 整数类 long tinyint、smallint、int和bigint 浮点类 double float和double 字符串类 string string、char、varchar、struct、map、array、union和binary 日期时间类 date date和timestamp ...
Tair开发运维规范
存储资源 Streaming慢消费、大Key等会占用大量存储资源，集群架构 下还会导致数据倾斜，无法有效利用所有数据分片。网络资源 扫描全库（KEYS 命令）、大Value、大Key的范围查询（如 HGETALL 命令）等会消耗大量的网络资源，且极易引发线程...
云数据库Redis开发运维规范
存储资源 Streaming慢消费、大Key等会占用大量存储资源，集群架构 下还会导致数据倾斜，无法有效利用所有数据分片。网络资源 扫描全库（KEYS 命令）、大Value、大Key的范围查询（如 HGETALL 命令）等会消耗大量的网络资源，且极易引发线程...
一键诊断
表倾斜检测功能会先定位数据量最大的表，然后再检测这些表是否存在数据倾斜。对倾斜的表进行优化，可以提升查询性能，均衡磁盘空间的数据量，降低磁盘锁定的风险。不合理分区表详情 表分区不合理检测会先定位数据量最大的表，然后再检测...
Dataphin中Hive数据通过管道任务同步到Hbase数据库，...
问题描述 Dataphin中Hive数据通过管道任务同步到Hbase数据库，运行报错"java.lang.IllegalArgumentException:KeyValue size too large。具体日志如下所示：2021-12-22 14:39:38.179[0-0-99-reader]INFO ReaderImpl-Reading ORC rows from ...
通过DataWorks管理作业
Lindorm计算引擎兼容CDH（Cloudera's Distribution ...如何进行数据采集，请参见 CDH Hive数据抽样采集器。在左侧导航栏单击 全部数据，触发表的检索，验证元数据是否同步成功。说明 如果您想要进一步进行数据治理，请参见 数据地图。
常见问题
本文汇总了ClickHouse使用时的常见问题。...根据具体需求，建议如下：如果需要将Hive数据导入到ClickHouse，建议使用Apache Spark或Apache Seatunnel进行数据导入。如果需要对Hive数据进行分析，建议使用StarRocks、Trino、Impala等引擎。
查看数据处理任务运维信息
本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选 择数据...
添加处理后数据到数据管理
本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
Dataphin管道任务将FTP数据...Hive数据源中DATE类型字段...
问题描述 管道任务将FTP数据源STRING类型数据同步到Hive数据源中DATE类型字段，当FTP中改STRING类型数据为空时，管道任务会提示脏数据。但是FTP中该字段为空数据正常业务场景。2021-11-08 18:42:43.305[0-0-0-reader]INFO ...
通过Spark SQL读Lindorm数据
访问Lindorm中的Hive数据 获取 HDFS客户端 的 hdfs-site 配置信息。说明 您可以在 Lindorm管理控制台 的 数据库连接 页面，单击 文件引擎 页签中 一键生成配置项，获取 hdfs-site 配置信息。登录 云原生数据仓库AnalyticDB MySQL控制台，在...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
调优集群性能
中间数据倾斜 中间数据倾斜不同于源表倾斜。在中间数据倾斜的场景下，源表数据可能在各个Shard上是分布均匀的，但是Shard中包含的某个字段的值又是分布不均的。当您根据分布不均的字段来做分组聚合查询或者作为JOIN的条件，云原生数据仓库 ...
Iceberg
hive_sync.mode Hive数据同步模式 String 否 hms hms（默认值）：采用Hive Metastore或者DLF Catalog时，需要设置hms。jdbc：采用jdbc Catalog时，需要设置为jdbc。hive_sync.db 同步到Hive的数据库名称 String 否 当前Table在Catalog中的...
Hive
AnalyticDB for MySQL 相关使用文档，请参见 访问Hive数据源。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务，如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA控制台，在 云原生数据湖分析DLA控制...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
为什么Redis内存报警与监控的内存使用率不一致
如果Redis内存使用率告...重要 变配时 Redis 会进行数据倾斜预检查，若您选择的实例规格无法解决内存倾斜问题，Redis 会进行拦截与报错，请您调大实例规格后重试。在成功升级实例规格后，会改善内存倾斜问题，但可能也引起带宽倾斜或CPU倾斜。
Spark应用配置参数说明
如连接自建的Hive数据源，则需要传入此参数。说明 IP和Host之间用空格分隔。多个IP和域名用英文逗号（,）分隔，如 ip0 master0,ip1 master1。当配置了连接数据源时，需要同时开启ENI网络，即配置 spark.adb.eni.enabled 为true。spark.adb....
DataWorks On CDP/CDH使用说明
开始使用：数据集成 DataWorks数据集成提供CDP/CDH Hive数据的读取与写入的能力，并提供离线同步、全增量同步任务等多种数据同步场景。开始使用：数据建模与开发 DataWorks提供数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，...
通过命令行方式连接Trino
例如，如果要查看Hive数据源中默认数据库中的 test 表的数据，您可以使用 select*from hive.default.test;命令。可选：执行 quit;可以退出Trino命令行。高安全集群 通过SSH方式登录集群，详情请参见 登录集群。执行如下命令，连接Trino命令...
- 产品推荐
- 这些文档可能帮助您