通过Spark SQL读Lindorm数据
spark.sql.catalog.lindorm_table.password 是 jar 是 步骤2中下载的压缩包所在的OSS路径。本文示例为 oss:/testBucketName/hbase_jars/*。location 是 指定外部数据库和外表数据在OSS上的存储路径。格式为 oss:/。本文示例为 oss:/...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
使用Hive访问
HADOOP_HOME/bin/hadoop fs-ls/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-ls/tmp/hive$HADOOP_HOME/bin/hadoop fs-chmod 775/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-chmod 775/tmp/hive 修改 io.tmpdir 路径。同时要修改 ...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
Hudi
内置阿里云OSS存储，低成本存储，弹性扩展 数据以开放的Parquet、Avro格式存储在阿里云OSS，存储计算分离，资源灵活弹性扩展。使用限制 仅Flink计算引擎vvr-4.0.11-flink-1.13及以上版本支持Hudi Connector。文件系统仅支持HDFS或阿里云OSS...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
异构数据源访问
提供以下功能：多种数据存储访问：支持多种数据存储系统，允许 AnalyticDB PostgreSQL版 数据库直接访问存储在HDFS、Hive、MySQL，PostgreSQL，PolarDB MySQL等多种外部系统中的数据。数据格式透明：支持常见的数据格式，如CSV、ORC、...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
迁移开源HDFS的数据到文件存储 HDFS 版
说明 使用 hadoop distcp 命令将原集群数据迁移至 文件存储 HDFS 版 时，请注意 文件存储 HDFS 版 不支持以下参数，其它参数使用和 Hadoop DistCp工具官方说明文档 一致。文件存储 HDFS 版 及命令行存在限制的更多信息，请参见 使用限制。...
SDK概述
说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持...
开源Flink写入OSS-HDFS服务
开源Flink不支持流式写入OSS-HDFS服务，也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务，需要结合JindoSDK。说明 如果您不希望通过Flink流式写入OSS-HDFS服务前部署JindoSDK，您可以...
EMR集群JindoSDK升级流程（新版控制台）
EMR集群内可以通过Hadoop命令上传，也可以通过阿里云对象存储OSS控制台、ossutil或OSS Browser等工具上传。hadoop dfs-mkdir-p oss:/<bucket-name>/path/to/patch/cd/home/hadoop/patch/hadoop dfs-put jindosdk-bootstrap-patches.tar.gz ...
文件存储 HDFS 版和数据库MySQL双向数据迁移
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件系统。步骤二：安装Sqoop 目前Sqoop分为Sqoop1和Sqoop2两个版本，且两个版本并不兼容。本文以Sqoop1的稳定版本Sqoop 1...
E-MapReduce数据迁移
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中，对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
数据操作篇
压缩较大的属性列文本 如果属性列是较大的文本，应用程序可以考虑将属性列压缩之后再以 Binary 类型存储到表格存储中。这样做节省了空间、减少了访问的服务能力单元消耗，从而可以降低使用表格存储的成本。将数据量超出限制的属性列存储到 ...
EMR集群JindoData升级流程（旧版控制台）
准备软件包和升级脚本 登录EMR集群的Master节点，并将下载的patch包放在Hadoop用户的HOME目录下，将patch包解压缩后，使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...
按使用功能计费模式计费项
无 存储空间-日志归档存储 开启智能分层存储功能后，当日志的存储时间超过您所配置的 热存储层数据保存时间 或 低频存储层数据保存时间 后，日志将转为归档存储，按照归档存储的存储空间计费。归档存储的存储空间包括日志（压缩后）的存储...
按写入数据量计费模式计费项
无 存储空间-日志低频存储 存储超过30天后，开启智能存储分层功能时，当日志的存储时间超过您所配置的 热存储层数据保存时间 后，日志将转为低频存储（原冷存储），按照低频存储的存储空间计费。低频存储的存储空间包括日志（压缩后）的...
挂载文件存储 HDFS 版文件系统
本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK，且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端，建议您使用...
Hudi连接器
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
存储引擎
AnalyticDB PostgreSQL版 存储引擎基于PostgreSQL实现，在继承了PostgreSQL存储引擎可扩展、高可用、强事务能力的基础同时，还具备如下特性：多种表类型：存储引擎同时支持行存表和列存表，行存表适用于高频数据增删改和点查场景，列存表...
快速入门
文件存储 HDFS 版 适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。开通 文件存储 ...
客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
- 产品推荐
- 这些文档可能帮助您