概述
技术原理 归档为 CSV 或 ORC 格式的技术原理图如下：集群中的热数据存储在共享存储（PolarStore）中，各个 PolarDB 节点通过分布式文件系统（PolarFileSystem）访问PolarStore中的数据。为降低数据存储成本，达到冷热数据分离管理的目的，...
账单查询
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 统计项 和 统计周期 选择账单的展示内容。说明 您可以单击账单右上角的定制列，选择您希望展示的账单内容。如果想更方便地分析您的账单，可以...
使用JindoFS作为HBase的底层存储
背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明 建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置 以EMR-3.36.0版本为例，创建...
文件分析
云数据库 SelectDB 版 支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成 云数据库 SelectDB 版 中的表，从而对这些文件数据进行分析。S3表函数 S3表函数可以让您像访问关系型数据库一样，...
通过Spark SQL读Lindorm数据
AnalyticDB MySQL 湖仓版（3.0）支持通过Spark SQL访问Lindorm数据库。本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
热力线层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
路网轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
热力线层
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
路网轨迹层
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
E-MapReduce数据迁移
如果涉及将云下集群的数据迁移到阿里云 文件存储 HDFS 版 文件系统，请参见 迁移开源HDFS的数据到文件存储HDFS版。如果E-MapReduce HDFS文件系统上的数据量较小，可以使用 hadoop fs-cp 命令进行数据迁移。为了避免因为权限问题导致数据...
导出至HDFS
已在HDFS集群中为 AnalyticDB MySQL 集群配置如下服务访问端口：namenode：用于读写文件系统元信息。您可以在 fs.defaultFS 参数中配置端口号，默认端口号为8020。详细配置方式，请参见 core-default.xml。datanode：用于读写数据。您可以...
Impala概述
优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询引擎相似，其性能比Hive快了几个数量级，具体取决于查询和配置的类型。Impala相对于Hadoop上SQL查询，优点如下：由于在数据节点上...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
企业版产品系列
集群中所有的数据文件都存放在共享存储（PolarStore）中，各个主节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，数据库代理会自动转发SQL命令到正确的主节点。多主...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
通过Spark导入数据
云数据库 SelectDB 版 支持通过Spark SelectDB Connector，利用Spark的分布式计算能力导入大批量数据。本文介绍使用Spark SelectDB Connector同步数据至 云数据库 SelectDB 版 的基本原理和使用方式。功能介绍 Spark SelectDB Connector是...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
删除文件系统
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作，请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在 文件...
基本概念
分区表能够利用分布式系统的查询优势，查询效率高。分区表可存储的数据量较大，通常可以存储千万条甚至千亿条数据。维度表 维度表，又称复制表，集群的每个节点都会存储一份维度表的全量数据。因此，复制表中的数据量不宜过大，最好不超过2...
使用前须知
修改文件存储类型 存储类型转换注意事项 解冻Object Bucket Policy 数据无法访问、数据无法自动删除，持续计费 为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object，对开通了OSS-HDFS服务的...
在文件存储 HDFS 版上使用Apache HBase
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署Apache HBase分布式集群，且版本必须与Hadoop版本兼容。具体...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
在文件存储 HDFS 版上使用Apache Tez
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。已根据集群Hadoop版本对Tez重新编译。具体操作，...
文件存储 HDFS 版支持Python SDK吗？
文件存储 HDFS 版 提供两种SDK，分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK，文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言，请参见 OpenAPI。
开发指南
本文为您介绍如何通过Java API接口方式进行HDFS的相关操作。背景信息 HDFS相关的操作如下所示：HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除目录 删除文件 移动或重命名文件 移动或重命名目录 HDFS初始化 在使用HDFS提供的API之前...
在文件存储 HDFS 版上使用Apache Flink
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...
产品架构
Databricks数据洞察构建在ECS之上，使用阿里云对象存储服务（OSS）为核心存储。本文介绍Databricks数据洞察的产品架构。存储访问加速层方便您可以像操作HDFS上的数据一样访问OSS上的数据。目前，Databricks数据洞察提供了两种执行Spark作业...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
公测期间使用文件系统有哪些限制？
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万 单个文件系统最多包含挂载点数量：2 单个用户可以创建...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
ListUserGroupsMappings-查看用户和组的映射关系
查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...
管理挂载点
本文介绍如何在 文件存储 HDFS 版 控制台上管理挂载点，包括添加挂载点、查看挂载点信息、删除挂载点、修改挂载点权限组、禁用和激活挂载点等。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。挂载点说明 一个阿里云账号最多...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
基本概念
名词 说明 预检查 为保障数据迁移任务/数据同步作业/数据订阅通道的顺利执行，在正式启动前，系统将执行预检查操作。例如，检查源库和目标库的连通性、数据库账号权限、Binlog设置、数据库版本号等是否满足要求，详情请参见 预检查相关介绍...
- 产品推荐
- 这些文档可能帮助您