使用EasyRec读取Hive表
EasyRec支持csv和Parquet两种Hive文件存储格式。本文通过示例为您介绍，如何基于Hive在Data Science集群进行EasyRec模型训练、评估和预测。前提条件 已创建Hadoop集群，详情请参见 创建集群。已创建DataScience集群，且选择了EasyRec和...
GetDoctorHiveCluster-获取 Hive 集群信息
HiveFrequencyScore integer hive 访问频率得分 80 HiveDistributionScore integer hive 大小文件分布得分 80 HiveFormatScore integer hive 文件存储格式得分 80 HiveScore integer hive 总评分 80 RequestId string 请求 ID。DD6B1B2A-...
通过整库迁移配置集成任务
压缩格式：ORC存储格式 支持 zlib、hadoop-snappy、lz4、none；PARQUET存储格式 支持 gzip、hadoop-snappy。性能配置：Hive的存储格式为ORC，支持配置性能配置。输出表格式为ORC且字段较多的场景下，内存足够时可尝试调大该配置提高写入...
存储格式与SerDe
STORED AS ORC 数据文件的存储格式为ORC。STORED AS RCFILE 数据文件的存储格式为RCFILE。STORED AS AVRO 数据文件的存储格式为AVRO。STORED AS JSON 数据文件的存储格式为JSON（Esri ArcGIS的地理JSON数据文件除外）。通过 STORED AS 指定...
ORC
本文以 orders.tbl 为例，详细为您介绍如何将普通文本文件转成ORC格式的文件。操作步骤 创建OSS Schema。CREATE SCHEMA dla_oss_db with DBPROPERTIES(catalog='oss',location 'oss:/dlaossfile1/')在DLA中创建orders_txt表，LOCATION为OSS...
概述
归档后的数据格式会转变为CSV或ORC格式并分成多个文件存储在OSS上，PolarStore中的这部分数据会被自动删除，存储费用也会随着存储空间容量的降低而减少。说明 冷数据归档完成后，PolarStore中的原表会转变为OSS上的归档表，归档表不支持...
通过外表导入至数仓版
创建ORC格式文件的外表时需设置为 orc。hdfs_url HDFS集群中目标数据文件或文件夹的绝对地址，需要以 hdfs:/开头。partition_column 选填 定义表的分区列，用英文逗号（,）切分各列。定义分区列的方法，请参见 创建带分区的HDFS外表。hdfs_...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
OSS数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } OSS Reader脚本Demo：ORC或Parquet文件读取OSS 目前通过复用HDFS Reader的方式完成OSS读取ORC或Parquet格式的文件，在OSS Reader已有参数的基础上，增加了 Path、FileFormat 等...
SELECT INTO OUTFILE
使用方法 语法 query_stmt INTO OUTFILE"file_path"[format_as][properties]请求参数说明 参数名称 参数说明 file_path 指向文件存储的路径以及文件前缀。如"s3:/bucket_name/to/my_file_"、"hdfs:/path/to/my_file_。当指定文件前缀为 my_...
更改列存表的数据存储格式
从Hologres V0.10版本开始，Hologres创建的列存表数据存储格式升级为AliORC，该存储格式能够进一步压缩数据存储大小，降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...
HDFS数据源
支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认资源组到HDFS的网络链路比较复杂，建议您使用 独享数据集成资源组 完成数据同步任务。您需要确保您的独享数据集成资源组具备...
配置Hive输出组件
文件编码 选择文件存储在Hive的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（Hive数据源）写入数据时，数据写入表中的策略。加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
OSS数据源
orc：要读取文件元数据以确定文件格式。csv：检查以下分隔符：逗号（,）、竖线（|）、制表符（\t）、分号;空格（）、（\u0001）。配置选项 高级自定义设置项，如更新，删除规则等。调度频率 您可以根据需要定期计划运行元信息发现任务。...
使用OSS Foreign Table导出数据
说明 表中同一行记录在导出时不会跨文件存储。实际导出文件的大小可能略大于该参数的设定。OPTIONS参数中CSV和TEXT格式特有选项请参见下表：参数 类型 是否必填 说明 gzip_level 数值 否 设置CSV或TEXT格式文件的GZIP压缩级别。取值范围为1...
Hive连接器
ORC格式配置属性 以下属性用于配置由Hive连接器执行ORC文件的读写操作。属性名 描述 hive.orc.time-zone 为未声明时区的旧版ORC文件设置默认时区。默认值为JVM default。hive.orc.use-columns-names 按名称访问ORC列。默认情况下，ORC文件...
ORC
ORC（Optimized Row Columnar）是Apache开源项目Hive支持的一种经过优化的列存储文件格式，与CSV文件相比，ORC文件不仅节省存储空间，而且数据查询性能更高。本文介绍如何在DLA中为ORC类型的文件创建表。前提条件 请参见文档 文件格式转换...
功能特性
挂载DBFS 卸载DBFS 从ECS云服务器上卸载数据库文件存储 卸载DBFS 扩容DBFS 支持业务友好地在线扩充存储容量 在线扩容 格式化DBFS 格式化数据库文件存储操作会清空已写入的数据，建议操作前创建快照备份数据库文件存储的数据-重命名DBFS ...
按扫描量付费
将1 TB的JSON文件转换为ORC格式，DLA只需按列扫描其中10%的数据，扫描的数据量降低至0.1 TB。经过数据格式转换、压缩和分区后，根据DLA计费模式，您需要支付的DLA扫描费用变更为：28×0.2+28×0.1+28=36.4元，总共为您节省47.6元。
Linux系统挂载SMB协议文件系统
云服务器ECS（Linux）WebServer共享访问场景 在多个云服务器ECS（Linux）上安装WebServer（如apache），且SMB文件系统作为共享文件存储。说明 SMB文件系统主要特点是共享访问、横向扩展、高可用，由于和本地硬盘实现机理不同，某些场景的小...
使用Robocopy工具迁移数据
本文介绍如何使用robocopy工具实现阿里云文件存储NAS SMB协议文件系统之间的数据迁移。前提条件 拥有一个存有数据的SMB协议文件系统，并且拥有一个专有网络类型挂载点。背景信息 Robocopy是Windows系统自带的目录复制命令，该功能可以创建...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
文档转换
使用REST API 转换信息 转换前 文档格式：DOCX 文档名称：example.docx 处理方式：文档格式转换 转换后 文件格式：PNG 文件存储路径：oss:/test-bucket/doc_images/转换完成消息通知：发送到主题为 doc_images 的MNS 处理示例/将文件...
另存为
另存为文件存储时长：如果您需要调整另存为文件的存储时长，请结合 生命周期规则介绍 配置合理的文件过期策略。参数说明 使用 sys/saveas 参数时，您需要携带以下选项：选项 含义 o 目标Object名称，名称需经过URL安全的Base64编码。具体...
Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
查看集群日报与分析
Hive库存储格式分布Top信息展示如下：库TextFile存储格式数据量分布Top 库Parquet存储格式数据量分布Top 库ORC存储格式数据量分布Top Hive表信息 Hive表信息包含以下部分：Hive表详细信息 Hive表文件大小分布Top信息 Hive表冷热数据分布Top...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
CPFS并行文件存储
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
监控与日志
监控与日志可有效保障您文件存储NAS资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和业务运行...
restore（解冻文件）
更多信息，请参见 修改文件存储类型。解冻归档类型Object时，也可以在本地创建XML格式文件 config.xml，并在文件中配置解冻天数参数。Days>3</Days></RestoreRequest>解冻单个归档类型Object 以下示例用于解冻目标存储...
数据湖投递概述
与计算生态无缝集成 投递的数据兼容开源生态标准，按照Parquet列存格式存储，兼容Hive命名规范。使用 E-MapReduce 可以直接对投递到OSS的数据进行外表分析。数据分层的存储与访问体验 数据投递到OSS后，表格存储 提供数据表、索引表、投递...
SHOW COLUMNAR STATUS
ORC_FILES ORC文件（列存存储文件）的个数。DEL_FILES 存储删除行标记数据的文件个数。FILES_SIZE 所有文件长度的总和，单位：B。TSO代表列存最新一次提交的TSO，然后统计截止到该TSO，该库下的所有列存索引表的统计信息，可以理解每一个...
SmartData 3.5.x版本简介
JindoTable计算优化 JindoTable新增native加速功能，可以对使用Spark、Hive或Presto读取存储在OSS和JindoFS上的ORC或Parquet格式的文件进行加速，详情请参见 开启native查询加速。Hive支持JindoTable冷度统计，以统计Hive表访问频次，详情...
概览
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 文件存储 HDFS 版 作为defaultFS，从而获得 文件存储 HDFS 版 带来的超越原始HDFS的功能和性能优势。更多信息，请参见 安装文件系统SDK、SDK示例。
账单和用量查询
您可以通过查询文件存储NAS的账单，及时了解其收费明细，更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
Dataphin集成任务写出到Hive的覆盖策略
概述 本文主要描述了Dataphin集成任务写出到Hive的覆盖策略。详细信息 Hive做为输出组件，Hive是以文件的形式存储在HDFS上的，覆盖策略是按照表名前缀，先做清表操作然后再覆盖数据。适用于 Dataphin v3.5.2
文件元数据离线分析
背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线...
文件元数据离线分析
背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线...
- 产品推荐
- 这些文档可能帮助您