开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
ModifyFileSystem-修改文件系统属性
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
通过外表导入至数仓版
本文介绍如何通过外表查询HDFS数据，并将HDFS数据导入至 AnalyticDB MySQL 数仓版（3.0）。前提条件 AnalyticDB MySQL版 集群需为V3.1.4.4或以上版本。说明 如何查看集群内核版本，请参见 如何查看实例版本信息。如需升级内核版本，请联系...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
产品架构
分布式结构化数据存储架构 在分布式结构化数据存储架构中，Tablestore 直连应用系统实现简单的事务处理和高并发数据读写。数据湖架构 数据湖架构主要用于数据中台、推荐系统、风控系统等场景。在数据湖架构中，表格存储 作为源表、结果表...
导入概述
本地文件导入 数据存储在本地文件中，数据量小于10 GB，可以采用Stream Load方法将数据快速导入StarRocks系统。采用HTTP协议创建导入作业，作业同步执行，您可以通过HTTP请求的返回值判断导入是否成功。Kafka导入 数据来自于Kafka等流式...
挂载源数据地址
不同数据源的迁移过程不同，具体说明如下：远程文件系统：如果您的数据存储在远程文件系统（例如：远程Windows文件系统、远程Linux文件系统和NAS服务器）中，请将数据所在的设备通过网线直连方式或交换机方式连接到闪电立方设备的网口或光...
迁移HDFS数据到OSS-HDFS
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
数据存储目录结构说明
本章介绍文件引擎(LindormDFS)默认的数据存储目录结构。目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如...
配置同步任务
文件存储数据源 HDFS NoSQL数据存储 MongoDB、ElasticSearch 配置同步任务 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 同步任务 页面。在 同步任务 页面，单击已创建的同步任务，配置参数。...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
导入概述
本地文件导入 数据存储在本地文件中，数据量小于10 GB，可以采用Stream Load方法将数据快速导入StarRocks系统。采用HTTP协议创建导入作业，作业同步执行，您可以通过HTTP请求的返回值判断导入是否成功。Kafka导入 数据来自于Kafka等流式...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
数据服务系统配置
Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存数据量较大时不建议使用，占用内存会影响系统的响应速率。适用于个别API需要开启缓存且数据量很少的场景 ...
功能特性
Hive数据导入 HDFS数据源 AnalyticDB for MySQL支持通过外表、DataWorks两种方式将HDFS数据导入至数仓版或湖仓版集群，也支持通过外表将AnalyticDB for MySQL数仓版集群中的数据导出至HDFS。HDFS数据导入 导出至HDFS Tablestore数据源 ...
查询文件系统详情
登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在 文件系统 页面，单击需要查看存储信息的文件系统名称，并选择 文件系统概览 页签。在 基础数据 区域，查看该文件系统的资源使用详情。查询文件系统基本信息 您可以在 文件系统概览 ...
配置StarRocks集群以访问高可用数据集群
如果您所使用的数据集群开启了高可用，那么在查询高可用集群中的HDFS数据时，您需要进行额外的配置。建议您按照本文的操作步骤来配置StarRocks集群，以实现HDFS的高可用性。前提条件 已创建包含了HDFS服务，并且开启了服务高可用的集群...
创建实例
数据湖分析版 兼容Trino（原名Presto），适用于数据湖或数据仓库查询分析的场景，例如已将数据存储在HDFS或对象存储服务（例如OSS）的场景。存算分离版（Beta）适用于对存储成本敏感，同时对查询效率要求略低的业务场景，例如OLAP多维分析...
通过DataWorks导入
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍如何通过DataWorks将HDFS数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
OSS/OSS-HDFS的性能优化最佳实践
JindoData缓存服务将文件以块的形式分散存储在分布式缓存服务中，从而避免重复从OSS或OSS-HDFS反复拉取数据，有效减少访问时延，增加计算资源的利用率。详情请参见 阿里云OSS/OSS-HDFS服务透明缓存加速。使用最新版本JindoSDK 最新版本的...
管理EventStore
删除EventStore会永久删除事件数据，删除日志可以通过设置更短的保存时间。本文介绍如何在日志服务控制台上创建、修改和删除EventStore与事件数据等操作。基本概念 事件库（EventStore）是日志服务中事件数据的采集、存储和查询单元。每个...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
产品优势
海量存储，支持上百TB级别数据 采用分布式块存储设计和文件系统，使得存储容量不限制于单节点的规格，能够轻松扩展，应对上百TB级别的数据规模。高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）...
概述
阿里云提供了涵盖各种存储资源（块、文件和对象）的广泛而灵活的数据存储方案，可以让您随时在不同的存储类型之间转换。本文讨论了如何选择最适合您的阿里云存储服务，以最低成本满足您的数据存储需求，同时还讨论了如何优化这些服务，从而...
功能特性
通过DataX导入Prometheus数据 从自建HDFS迁移数据 通过Distcp工具实现全量或增量的HDFS数据迁移，将在开源HDFS的数据平滑地迁移到Lindorm的文件引擎中。从自建HDFS迁移数据 从OSS迁移数据 将对象存储OSS上的数据迁移至Lindorm文件引擎。从...
产品优势
海量存储，支持上百TB级别数据 采用分布式块存储设计和文件系统，使得存储容量不限制于单节点的规格，能够轻松扩展，应对上百TB级别的数据规模。高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）...
HDFS的部署拓扑
core-1-1或emr-worker-x DataNode 管理和存放HDFS数据块，节点上的数据盘。高可用集群 节点 组件 描述 master-1-1（部分版本为emr-header-1）ZKFailoverController（ZKFC）独立的进程运行，根据NameNode的状态进行主备选举和切换。NameNode...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
JindoData版本说明
JindoData 4.1.x版本 版本概要 JindoData 4.1.0版本在阿里云OSS-HDFS服务（JindoFS服务）上支持随机写等重要特性，并添加JindoFSx存储加速系统，支持对原生阿里云OSS和OSS-HDFS服务（JindoFS服务）提供分布式缓存。主要功能 JindoFS存储...
技术架构
PolarDB的存储层采用的是阿里云自主研制的分布式文件系统PolarFS。PolarFS是中国内地面向DB应用设计的采用了全用户空间I/O栈的低延迟高性能分布式存储系统（参见VLDB 2018 上的文章 PolarFS:An Ultra-low Latency and Failure Resilient ...
冷热数据分层存储
为了降低数据存储成本、提高查询性能和系统资源利用率。云数据库ClickHouse 提供了冷热数据分层存储的功能。您可以根据查询频率将数据存储在不同类型的磁盘中。本文介绍如何开启冷热数据分层存储功能和设置分层存储策略。前提条件 云数据库...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请...
什么是文件存储NAS
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口，天然适配原生操作系统，提供共享访问，同时保证数据一致性和锁互斥。它提供了简单的可扩展文件存储以供与ECS配合使用，多个ECS实例可以...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
时序模型计量计费
使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 时序模型中的分析存储功能将从2023年12月20日正式开始收费...
使用ossimport迁移数据
迁移方案 使用分布式模式将第三方存储迁移至OSS的过程如下：说明 在ECS上搭建ossimport分布式环境后，ossimport从腾讯云COS广州（华南）区域下载数据到ECS华东1（杭州），建议使用外网。使用ossimport从ECS华东1（杭州）将数据上传到OSS...
通过实时计算订阅数据
参数 说明 数据存储类型 DataHub数据存储。EndPoint 通过 DataHub访问域名 获取。Project DataHub的项目名称，可在 DataHub控制台 中获取。使用同样的方式注册RDS数据存储，参数说明如下。参数 说明 Instance RDS的实例ID，可在RDS实例的 ...
应用场景
物联网存储IoTstore作为物联网的统一数据存储平台，可应用于车联网、智能家居、工业物联网等场景。车联网 车联网是物联网技术在智能交通领域的典型应用。在智能交通领域通过使用物联网、云计算、传感器、大数据、无线通信等技术对交通信息...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
- 产品推荐
- 这些文档可能帮助您