Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
AliyunHDFSFullAccess
AliyunHDFSFullAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSFullAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 管理文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-03 01:09:21 ...
常见问题
阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
使用JindoFuse挂载访问
JindoFuse是一个开源的分布式文件系统访问工具，同时兼容POSIX，使得AI应用程序可以直接使用OSS-HDFS服务作为数据存储和处理的解决方案。前提条件 已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。环境准备 ...
迁移HDFS数据到OSS-HDFS
背景信息 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。...
使用NAS静态存储卷
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已...
通过播放地址播放
播放说明 说明 如果您有高并发播放视频的场景，则建议您使用播放地址方式进行视频播放，通过将获取到的视频URL（播放地址）存储到您自己的业务系统，再下发给播放终端，并提前刷新预热新视频，可满足百万级别的并发播放视频业务需求。...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
通过NFS使用NAS静态存储卷
NAS是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，及如何实现持久化存储与共享存储。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。已创建NAS文件...
选型配置说明
由于Master节点主要用于存储HDFS元数据，且HDFS元数据存储在内存中，因此，建议根据HDFS中的文件数量选择16GB内存以上的机型。Utility节点的选型 在一个集群中仅需部署一台工具节点，工具节点主要用于部署CM（CDP的管控），以及Hive ...
产品优势
特性 Lindorm文件引擎 开源HDFS 功能定位 分布式文件系统 分布式文件系统 HDFS兼容性 HDFS通信协议 支持 支持 基础读写接口 完整支持 完整支持 高级管理接口 完整支持 完整支持 成本 存储单价（实际费用以购买页面为准）最低0.12元/GB/月 ...
搭建Hadoop环境
Hadoop的核心部件是HDFS（Hadoop Distributed File System）和MapReduce：HDFS：是一个分布式文件系统，可用于应用程序数据的分布式存储和读取。MapReduce：是一个分布式计算框架，MapReduce的核心思想是把计算任务分配给集群内的服务器...
从自建HDFS迁移数据
常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。如果迁移数据量大，建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据，可以将目录切分为几个小目录，依次迁移。一般全量数据同步时，...
视频播放问题排查
当存储在视频点播中的视频出现播放失败、播放卡顿等播放异常现象时，您可以使用检测工具基于视频播放地址快速诊断出配置异常项并参考修复建议处理异常。检测工具诊断项覆盖域名、证书、鉴权等维度。前提条件 您已通过点播控制台或API/SDK...
查看集群日报与分析
Hive文件大小分布Top信息提供以下数据：Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题，大量的小文件会严重拖累计算流程，...
开发指南概述
视频点播提供一站式的音视频点播解决方案，功能涵盖视频采集、编辑、上传、自动化转码处理、媒体资源管理、高效云剪辑处理、分发加速、视频播放，开发指南为您介绍了以上功能、使用说明等。整体流程 使用视频点播实现音视频上传、存储、...
使用JindoFS作为HBase的底层存储
背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明 建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置 以EMR-3.36.0版本为例，创建...
DescribeVscMountPoints-获取VSC挂载点信息列表
hdfs1 Instances object[]已挂载 HDFS 文件系统的 ECS 实例信息集合。Status string 已挂载 HDFS 文件系统的 ECS 实例状态。包括：NORMAL：挂载成功。CREATING：挂载中。INVALID：挂载失败。NORMAL InstanceId string 已挂载 HDFS 文件系统...
各端播放器公共常见问题
播放卡顿相关问题 有哪些措施可以改善视频播放卡顿，提升命中率？可从如下方面提升命中率：配置URL鉴权、刷新预热、缓存配置、过滤参数。拖动视频的进度条到视频中间播放时，播放卡顿 当视频本身的关键帧太少时，导致拖动时需要大量加载...
各端播放器公共常见问题
播放卡顿相关问题 有哪些措施可以改善视频播放卡顿，提升命中率？可从如下方面提升命中率：配置URL鉴权、刷新预热、缓存配置、过滤参数。拖动视频的进度条到视频中间播放时，播放卡顿 当视频本身的关键帧太少时，导致拖动时需要大量加载...
选型配置说明
Master节点主要用来存储HDFS元数据和组件Log文件，属于计算密集型，对磁盘IO要求不高。HDFS元数据存储在内存中，建议根据文件数量选择16 GB以上内存空间。Core节点选型 Core节点和Task节点的区别在于，Core节点会同时运行DataNode和...
播放器SDK通用问题
出于安全性考虑，用户使用点播上传媒体文件，将获得该文件的视频ID（videoID），而非URL地址。用户也可以通过点播OpenAPI获取，更多内容，请参见：GetPlayInfo-获取音视频播放地址。使用点播上传完成之后，会获取到一个videoID。videoID也...
阿里云OSS/OSS-HDFS服务透明缓存加速
JindoFSx存储加速系统提供了透明缓存的使用方式，兼容原生OSS/OSS-HDFS存储方式，文件以对象的形式存储在OSS/OSS-HDFS上，每个文件根据实际访问情况会在本地进行缓存，提升访问OSS/OSS-HDFS的效率，同时兼容了原有OSS/OSS-HDFS文件形式，...
同步LogHub数据至HDFS
default-agent.sinks.k1.hdfs.path HDFS存储路径。例如，/tmp/flume-data/loghub/datetime=y%m%d/hour=H。default-agent.sinks.k1.hdfs.fileType 保存到HDFS上的文件类型。固定为DataStream。default-agent.sinks.k1.hdfs.rollInterval ...
功能特性
媒体上传及生产 功能集 功能 功能描述 参考文档 媒体上传 内容上传 视频点播支持视频、音频、图片、辅助媒资（水印、字幕、素材文件）等媒体文件上传。文件可以是本地文件也可以是网络文件（网络文件采用URL拉取上传）内容上传 直播转点播 ...
存储概述
但如果您已有大量媒体文件存在于OSS Bucket，且不方便迁移到点播的系统Bucket，可以将自有的OSS Bucket添加到视频点播服务中，以实现对存储在OSS Bucket中的媒体文件进行转码、截图、播放等操作。点播系统Bucket与OSS自有Bucket对比 对比项...
DetachVscMountPoint-解绑VSC挂载点
["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*"]VscIds array 否 待解绑 HDFS 文件系统的 VSC ID。建议添加不超过 50 个 VSC ID。string 否 VSC ID vsc-asjodjoio*Description string 否 预留字段，无实际意义。无 FileSystemId string 是 ...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
媒资管理
视频点播（VOD）控制台提供音视频、图片和短视频素材上传功能，支持批量操作，便于快速将媒体资源上传存储到VOD。本文以视频管理为例，介绍媒体管理的功能。查询音/视频 登录 视频点播控制台。在点播控制台左侧导航栏的 媒资库 区域，单击 ...
在Hue WebUI使用文件浏览器
Summary 摘要，查看选中文件或目录的HDFS存储信息。Set replication 为选定的文件设置复制因子。Compress 压缩选定的文件或文件夹。重要 使用此操作前，需要给EMR集群先添加Oozie服务，添加服务详情请参见 添加服务。上传用户文件 在 File ...
使用前须知
修改文件存储类型 存储类型转换注意事项 解冻Object Bucket Policy 数据无法访问、数据无法自动删除，持续计费 为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object，对开通了OSS-HDFS服务的...
下载媒体文件
视频点播支持将存储在视频点播里的媒体文件下载到本地磁盘或其它存储上，提供了控制台、客户端和接口用于查询各种媒体文件的下载地址。本文为您介绍媒体文件、下载地址类型、下载限制和获取方法。媒体文件 使用视频点播服务时可能会产生...
统计分析
统计分析基于阿里云视频播放器的终端数据采集能力，为您提供更贴近运营场景的播放行为数据及热门资源统计。使用说明 统计分析看板仅能统计配置加速域名后，经视频点播中媒体文件的加速地址进行播放视频的播放行为数据；无法统计通过视频...
使用E-Mapreduce访问
在 集群管理 页面，找到需要挂载文件存储HDFS的目标E-MapReduce集群，单击 管理。更改配置。选择 集群服务>HDFS，单击 配置。在 服务配置 中，单击 core-site。找到配置项 fs.defaultFS，将其替换为文件引擎的地址。单击 保存，在 确认保 ...
通过播放凭证播放
如果您对存储在视频点播中的音视频播放有更高的安全性要求，则可以使用阿里云播放器SDK通过音视频的播放凭证（PlayAuth）自动换取播放地址进行播放。因播放凭证具有时效性、与视频一一对应、不能混用和重复使用等特点，当凭证过期或凭证...
快速接入
本文介绍如何快速接入Web端播放器SDK并完成基础的视频播放。接入前须知 阿里云Web端播放器SDK支持HTML5和Flash两种播放模式，请您提前明确所需集成的播放器模式，并了解相关功能支持和浏览器适配情况。关于功能支持和浏览器的适配说明，...
文件分析
云数据库 SelectDB 版 支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成 云数据库 SelectDB 版 中的表，从而对这些文件数据进行分析。S3表函数 S3表函数可以让您像访问关系型数据库一样，...
- 产品推荐
- 这些文档可能帮助您