DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...
ORC文件
ORC是为Hadoop作业而设计的自描述，类型感知的列存储文件格式。它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
上传本地文件
物联网平台提供上传本地文件的功能，导入本地数据到物联网平台数据服务的自定义存储表，用于分析洞察、数据应用或作为IoT孪生引擎的数据源。本文介绍如何上传本地数据。前提条件 已购买物联网平台的企业版实例，具体操作，请参见 购买企业...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
Hive连接器
hive.timestamp-precision 指定Timestamp类型Hive列的精度。取值如下：MILLISECONDS：毫秒。MICROSECONDS：微秒。NANOSECONDS：纳秒。默认值为MILLISECONDS。说明 精度高于配置的值时将会四舍五入。hive.temporary-staging-directory-...
列式JSONB
但如果JSONB数据中的字段比较稀疏，列数膨胀比较厉害，那么列式化后的每一列都会带来额外的存储开销（列的统计信息、索引等），且如果列式化后每一列的类型都是TEXT类型，压缩效果就不会很好。所以实际的存储压缩效率与实际业务的数据有关...
添加云产品数据源
列分隔符 仅 数据格式 为 CSV 时，需要配置列分隔符。可选：逗号、竖线、空格、制表符、自定义。单击 点击配置，在 字段映射 对话框，完成数据源中字段映射配置。根据数据格式，配置格式解析的样例数据。数据格式 操作 JSON 在 样例数据 框...
Parquet
仅对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）支持读取Parquet格式的数据。使用示例 利用OSS和Parquet格式创建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
产品架构
投递的数据兼容开源生态标准，按照Parquet列存格式存储，兼容Hive命名规范。您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎，包括Flink、Spark、Presto等。与阿里大数据平台生态组件...
使用教程（宽表模型）
表格存储 支持作为实时计算Flink的源表和结果表使用，您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入，每条数据...
玄武分析型存储
行列混合存储 玄武存储引擎支持行列混存和行存的存储格式，其中行列混存是一种以列存为基础兼顾行存的模式，类似于Hadoop中的ORC/Parquet格式。不同的是玄武的行列混存不仅兼顾分析类的列裁剪和大吞吐扫描性能，而且结合其行对齐的能力，...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
概述
列存引擎（Columnar）提供持久化列存索引，实时消费分布式事务的Binlog日志，基于对象存储介质构建列存索引，能满足实时更新的需求，结合计算节点可提供列存的快照一致性查询能力。列存架构 架构理念 随着云原生技术的不断普及，以...
访问Hive数据源
val tableName=args(0)import sparkSession.implicits._/将只有一行一列数据的DataFrame:df存入Hive,表名为用户传进来的tableName,列名为welcome_col。val df=Seq(welcome).toDF("welcome_col")df.write.format("hive").mode("overwrite")....
Hive数据导入
E-MapReduce集群业务场景为 新版数据湖，元数据类型为 自建 RDS 或 内置 MySQL，具有Hive服务，且 Hive 存储模式 为HDFS（即去勾选 数据湖存储）。具体操作，请参见 创建集群。重要 元数据类型为 DLF 统一元数据 的E-MapReduce集群，暂不...
GetDoctorHiveTable-获取Hive表分析结果
FormatName string 存储格式名称。TextInputFormat FormatSize long 格式数据量。506930200 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.23 FormatDayGrowthSize long 格式数据量日增量。1232124 ...
配置说明
string类型和binary类型的主键列列值限制均为1 KB，属性列列值限制均为2 MB。更多信息，请参见 通用限制。如果数据类型转换后列值超出对应限制，则将该Kafka Record作为脏数据处理。如果使用默认的DefaultEventParser解析器，Kafka Record...
Spark FAQ
表的存储格式不对，目前只支持OSS和HDFS。表名中出现了中划线-，中划线为Spark SQL保留字，不允许在表名中使用。为什么在DLA SQL中执行select*from db1.table1有数据，但在Spark中没有？常见原因如下。表中对应的OSS或者HDFS地址有嵌套关系...
列数据转KV
组件为数据预处理组件，将多列数据转换为Key:Value格式的一列数据。使用限制 支持的计算引擎为MaxCompute和Flink。算法简介 将数据格式从多列转成Key:Value格式，用户可以指定Key之间的分隔符和Key与Value之间的分隔符。转换之后，多列数据...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
ALTER TABLE
表中后面的插入和更新操作会为该列存储null值。因此，删除列速度很快，但不会立即减少表在磁盘上占用的大小，因为所删除列占用的空间未回收。随着时间推移，在更新现有行之后，将回收该空间。不允许更改系统目录表的任何部分。请参阅CREATE...
管理Notebook单元
格式化SQL：格式化当前SQL单元中的SQL代码。全屏单元：全屏显示当前SQL单元。切换单元：切换当前SQL单元为其他单元。例如，Markdown单元、SQL单元、数据库SQL单元。添加单元：在当前SQL单元下添加其他单元。如Markdown单元、SQL单元、据库...
通过外表导入至数仓版
说明 在创建OSS的CSV格式的外表来读取Hive TEXT文件时，需注意如下几点：Hive TEXT文件的默认列分隔符为 \1。若您需要通过OSS的CSV格式的外表读写Hive TEXT文件，您可以在配置 delimiter 参数时将其转义为 \\1。Hive TEXT文件的默认 NULL ...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
计算列配置
说明 格式化：用于系统自动规整表达式内容的格式。若当前需要新增计算列运用到乘法、减法或除法，可参考上文加法的配置方法。使用系统内置函数新增计算列 若当前需要新增计算列：今年以来的最大收益=max（今年以来的收益），可按进行如下...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
Hive元数据说明
更多能力 细粒度数据权限控制、湖存储分析和湖格式管理。无。非EMR集群访问DLF元数据 非EMR集群（本地测试环境或者其它云服务）访问DLF元数据，需要集成DLF Client SDK，具体操作请参见 阿里云数据湖构建（DLF）。说明 访问DLF和访问MySQL...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
实时存储引擎
存储格式 最初的 AnalyticDB MySQL版 实时存储引擎设计是一个列存实现，在宽表更新场景（游戏业务中留存率计算、零售业务中订单统计等）下，I/O放大导致的延迟问题尤为明显。老版本的 AnalyticDB MySQL版 实时存储引擎采用RowGroup行列混存...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
2024-04-01版本
对Kafka的写入，支持了对JSON格式中某一列为空数据时不写入NULL的能力，优化了对Kafka存储容量的占用，同时支持了根据Header进行等值过滤的能力，帮您进行数据分流处理；另外，对于Hive Catalog支持了OSS-HDFS作为Hive写入端的存储；对于...
错误码参考
反序列化组合过滤器失败，原因可能是SDK中组装的filter格式不正确。否 400 OTSParameterInvalid Deserialize column pagination filter failed.反序列化宽行过滤器失败，原因可能是SDK中组装的filter格式不正确。否 400 ...
按自定义时间列冷热分离
购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热数据查询效率，降低冷数据存储成本。本文介绍按自定义时间列冷热分离的具体操作步骤及相关注意事项。前提条件 已...
配置Hive输入组件
使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输入组件。更多...
列数据转向量
可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 数据 数值类型 读数据表 读CSV文件 是【右侧参数表单】页签 参数 描述 字段设置 算法保留列名 组件输出中需要保留的列名，默认保留所有列。选中的列名...
半结构化分析
同时 AnalyticDB PostgreSQL版 提供一些列特定的JSON化函数，让用户可以对这些数据做出一些业务所需的操作。支持的JSON数据类型有两种：JSON和JSONB。这两种类型在使用上几乎完全一致。其中，JSON数据类型直接存储输入文本，会保存JSON数据...
- 产品推荐
- 这些文档可能帮助您