JindoDistCp使用说明
什么是JindoDistCp JindoDistCp是阿里云数据湖存储团队开发的大规模集群内部和集群之间分布式文件拷贝的工具。其使用MapReduce实现文件分发、错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件...
EMR集群接入OSS-HDFS服务快速入门
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例...
通过Hadoop Shell命令访问
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例...
导出清单
使用清单导出功能，您可以将某个Bucket下的OSS-HDFS服务的文件清单导出到某个特定路径，格式为JSON文件，方便您对元数据进行统计分析。前提条件 使用最新版本JindoSDK。下载地址，请参见 GitHub。配置OSS-HDFS服务下Bucket的访问密钥。具体...
迁移Hive表和分区数据到OSS-HDFS服务
本文介绍如何使用JindoTable ...确保同一时间不存在其他命令向相同的目标路径迁移数据，例如DistCp、JindoDistCp等分布式拷贝命令。删除目标目录。对于非分区表，删除表一级目录。对于分区表，删除存在冲突的分区级目录。请勿删除源目录。
数据迁移概述
您可以将数据迁移至OSS-HDFS，或者在OSS-HDFS的不同Bucket之间迁移数据，具体如下：迁移方式 说明 相关文档 阿里云Jindo DistCp 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用...
Hadoop
dla-spark"/hdfs目录用于存放内容 val hdfsPath=args(0)/将welcome字符串存入指定的hdfs目录 sparkSession.sparkContext.parallelize(Seq(welcome)).saveAsTextFile(hdfsPath)/从指定的hdfs目录中读取内容，并打印 sparkSession....
同步HDFS Audit日志至HDFS
channel.type=file default-agent.sources.default-source.type=avro default-agent.sinks.default-sink.hdfs.path=hdfs:/master-1-1:9000/path default-agent.sinks.default-sink.hdfs.fileType=DataStream default-agent.sinks.default-...
通过Jindo CLI访问
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。下载文件 将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp。jindo fs-get oss:/examplebucket....
非EMR集群接入OSS-HDFS服务快速入门
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例...
HBASE-HDFS
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBase-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
同步LogHub数据至HDFS
default-agent.sinks.k1.hdfs.path HDFS存储路径。例如，/tmp/flume-data/loghub/datetime=y%m%d/hour=H。default-agent.sinks.k1.hdfs.fileType 保存到HDFS上的文件类型。固定为DataStream。default-agent.sinks.k1.hdfs.rollInterval ...
Broker Load
在Broker Load模式下，通过部署的Broker程序，StarRocks可读取对应数据源（例如，Apache HDFS，阿里云OSS）上的数据，利用自身的计算资源对数据进行预处理和导入。本文为您介绍Broker Load导入的使用示例以及常见问题。背景信息 Broker ...
Broker Load
StarRocks支持从外部存储系统导入数据，支持CSV、ORCFile和Parquet等文件格式，建议单次导入数据量在几十GB到上百GB级别。Broker Load导入 查看Broker实例 阿里云EMR StarRocks集群在创建时已经自动搭建并启动Broker服务，Broker服务位于每...
管理缓存
Alluxio利用E-MapReduce（简称EMR）集群的本地节点的内存和磁盘对数据进行分布式缓存。本文为您介绍缓存相关的内容。前提条件 已创建集群，并选择了Alluxio服务，详情请参见 创建集群。已登录集群，详情请参见 登录集群。背景信息 EMR默认...
迁移HDFS数据到OSS-HDFS
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
WorkQueue
在大规模分布式异步训练中，您可以使用WorkQueue进行弹性数据切分，以缓解长尾效应，从而降低模型训练所需的时间。本文介绍WorkQueue的调用格式、参数及其提供的方法。同时，以文件数据源和MaxCompute表数据源为例，介绍实现数据切分的经典...
引擎简介
Lindorm文件引擎是面向海量非结构化数据的分布式文件存储服务，与多模引擎共享存储，LindormDFS支撑，充分利用了对象存储的低成本与高可靠、块存储的高性能等优势，并通过高低速分层存储、副本共享去重、智能冷热转存等技术，面向用户提供...
手动集成Ranger Kafka插件
准备脚本文件install.properties，并将该文件放置到安装目录/opt/apps/ranger-plugin/ranger-2.1.0-kafka-plugin 下。请您根据实际场景来配置Ranger插件的安装配置文件 install.properties。配置项说明 参数名称 描述 是否必填 COMPONENT_...
AliyunHDFSReadOnlyAccess
AliyunHDFSReadOnlyAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSReadOnlyAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 只读访问文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
更换集群损坏的本地盘
p$mount_path/hdfs sudo chown hdfs:hadoop$mount_path/hdfs sudo chmod 750$mount_path/hdfs sudo mkdir-p$mount_path/yarn sudo chown root:root$mount_path/yarn sudo chmod 755$mount_path/yarn sudo mkdir-p$mount_path/impala sudo ...
OSS/OSS-HDFS的性能优化最佳实践
JindoData缓存服务将文件以块的形式分散存储在分布式缓存服务中，从而避免重复从OSS或OSS-HDFS反复拉取数据，有效减少访问时延，增加计算资源的利用率。详情请参见 阿里云OSS/OSS-HDFS服务透明缓存加速。使用最新版本JindoSDK 最新版本的...
AliyunHDFSFullAccess
AliyunHDFSFullAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSFullAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 管理文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-03 01:09:21 ...
TFRecord数据转换
PAI提供多种数据转换功能，可以将图片文件快速转换为TFRecord文件，从而使用训练组件进行模型训练。如果通过PAI智能标注平台进行数据标注，则系统会自动生成标记结果文件，您可以直接调用数据转换组件生成TFRecord文件。如果通过其他平台...
JindoFS实战演示
如何将HDFS海量文件归档到OSS 如何将HDFS海量文件归档到OSS 2021-05-18 如果您的数据存储在HDFS集群内，随着业务的发展，数据不断增长，可能导致存储空间不足、存储成本不断上升等问题，此时您可以将访问频率较低的HDFS数据归档到OSS中。...
搭建环境
export JAVA_HOME=${path_to_jdk_dir}/jdk1.8.0_181 export PATH=${path_to_jdk_dir}/jdk1.8.0_181/bin:$PATH 检查 Java 是否安装成功：$java-version 说明 符号$在 Windows 系统上不需要输入。安装 Apache Maven 版本要求 SOFABoot 要求 ...
创建集群
参数 说明 HBase日志存储 默认勾选，表示HBase将HLog文件存储在HDFS中。更多场景 重要 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，则不能选择以下集群类型。机器学习（Data Science）：主要面向大数据+AI场景。提供分布式...
步骤三：实验2-根据车次查询城市天气
添加 遍历（For Each）节点，使用脚本方式设置待遍历的集合。将 遍历（For Each）的节点拖动至 设置变量 的节点下。本实验中是针对查询车次接口中的List部分进行遍历。在 遍历（For Each）面板，单击 编辑代码，在 脚本 对话框中输入以下...
数据库采集器问题
采集端运行时会优先选择本地的 jdk 运行，如果 jdk 低于 1.8 版本会提示版本不支持，请将运行脚本 collect_.sh 中 JAVA_PATH 强制指定为安装目录 jdk（将 JAVA_PATH=`which java` 换成 JAVA_PATH=''）。如何在Mac OS上面运行采集器？需要...
常见问题
如果是分布式部署，请通过 logs/ossimport.log 查看日志文件。找到异常原因并解决，然后再启动服务进程。使用 stat 命令查看任务状态一直显示 scanFinished：false.解决方法：观察Task的总数是否增加。如果Task总数增加，则表明Job的文件...
开发指南
背景信息 HDFS相关的操作如下所示：HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除目录 删除文件 移动或重命名文件 移动或重命名目录 HDFS初始化 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。初始化HDFS时会加载HDFS的配置...
新建ArgoDB计算源
背景信息 ArgoDB是星环自主研发的分布式分析型数据库，可替代Hadoop+MPP的混合架构。能够使用标准的SQL语法进行业务的建设，并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。更多...
阿里云OSS-HDFS（JindoFS服务）快照使用说明
背景信息 阿里云OSS-HDFS服务（JindoFS服务）是OSS新推出的存储空间类型，兼容HDFS接口，支持目录以及目录层级，通过JindoSDK 4.x可以兼容访问OSS-HDFS服务。OSS-HDFS服务的快照功能在使用上与HDFS的快照功能完全兼容。本文主要介绍在OSS-...
Jindo CLI支持操作JindoFSx命令
当数据源为OSS、OSS-HDFS、Apache HDFS、NAS时，请先完成如下配置：阿里云OSS/OSS-HDFS服务透明缓存加速 Apache HDFS透明缓存加速 统一命名空间缓存加速 说明 本文以EMR-3.42.0版本为例介绍。背景信息 本文为您介绍以下内容：数据缓存命令 ...
准备工作
仅供参考：#Java8及以下-XX:+PrintGCDetails-XX:+PrintGCDateStamps-Xloggc:<path>#Java9及以上-Xlog:gc*:<path>:time 其它的GC日志打印相关参数可参考 Oracle官方文档 注：使用以上参数可以将GC日志打印到<path>中，请务必指定path，否则...
转码
转码是将音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、不同终端设备和不同的用户需求。当控制台创建的转码任务和工作流均无法满足您的使用场景时，可以按需调用SubmitJobs接口进行转码。本文提供了媒体处理PHP SDK转码...
Java沙箱
不允许直接访问分布式文件系统，只能通过MaxCompute MapReduce、Graph访问表的记录。不允许JNI调用限制。不允许创建Java线程，不允许启动子进程执行Linux命令。不允许访问网络，包括获取本地IP地址等。Java反射限制：suppressAccessChecks...
安装Java SDK
使用Java SDK进行日志服务各类操作前，您需要安装Java SDK。本文提供了多种Java SDK的安装方式，请结合实际使用场景选用。前提条件 已开通智能召回引擎服务，更多信息，请参见开通服务。请确保需要请求的服务处于已运行状态，更多信息，请...
安装Java SDK
您可以通过直接添加Maven依赖或下载阿里云Java SDK的开发工具包的方式安装阿里云Java SDK。前提条件 在安装和使用阿里云Java SDK前，确保您已经：安装Java环境。说明 阿里云Java SDK要求使用JDK1.6或更高版本。在Java运行环境配置好的情况...
- 产品推荐
- 这些文档可能帮助您