数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
使用CNFS管理NAS隔离存储卷（推荐）
容器服务 Kubernetes 版 支持以NAS隔离存储卷的方式挂载和使用CNFS。在多租户环境或其他需要数据隔离的场景中，您可以 通过CNFS管理NAS...如果您需要实现NAS存储卷的使用率高于某个阈值时触发自动扩容，请参见 使用CNFS自动扩容NAS存储卷。
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
开发测试
本文列举了基于文件存储NAS实现高性能、低成本自动化CI/CD系统的最佳实践案例。基于K8s、NAS、GitLab、Jenkins的持续集成交付容器环境最佳实践 Serverless ACK弹性低成本CI/CD系统 使用文件存储NAS构建Jenkins持续集成环境 使用极速型NAS...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
使用CNFS自动扩容NAS存储卷
通过定义CNFS中托管的NAS存储卷的自动扩容策略，当NAS存储卷的使用率高于某个阈值时，触发NAS存储卷的自动扩容。本文介绍如何使用CNFS实现NAS存储卷的自动扩容。前提条件 已创建Kubernetes托管版集群，且存储插件选择为CSI。若需要新建集群...
背景
存储水平扩展，查询能力强 表格存储可实现PB级数据的存储和查询，同时提供全局二级索引、多元索引等功能扩充查询能力，满足多种业务的负载和查询需求。如果采用组合使用MySQL、HBase、Elasticsearch等多款产品的方式实现不同业务的查询需求...
存储说明
存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月 说明 实际价格请以控制台...
使用NAS实现共享存储和持久化存储-Flexvolume
本文介绍如何使用NAS实现共享存储和持久化存储。前提条件 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。已在文件存储控制台创建一个文件系统，请参见 Linux系统挂载NFS协议文件系统。创建的文件系统需要与您的...
方案背景
本文主要为您介绍基于表格存储的海量气象格点数据解决方案的背景及挑战。背景 气象数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的...
网络安全
表格存储支持通过使用VPC实现网络隔离，可有效提升资源间互访时的安全性。表格存储默认允许任意网络的访问，同时支持为实例配置Network ACL来限制访问实例的网络类型，保证网络访问安全。更多信息，请参见 Network ACL 和 网络安全管理。...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储
阿里云开源大数据开发平台E-MapReduce（简称EMR）支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群，并在创建集群时选择Hbase。具体...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
网络安全管理
表格存储 默认允许任意网络的访问，您可以通过为实例绑定 VPC 并更改网络访问类型实现在 专有网络 VPC 中使用 表格存储 资源，保证网络访问安全。实例网络类型 表格存储 默认会为每个实例创建一个公网域名、一个 VPC 域名以及一个经典网...
Network ACL
表格存储 支持实现不同实例网络类型组合，满足不同的网络安全性需求。实例网络类型 说明 允许任意网络访问 实例对访问来源不做限制。可以通过公网域名、经典网域名、VPC 域名或者控制台来访问实例。限定控制台或 VPC 访问 实例只允许来源于...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
HBase使用OSS-HDFS服务作为底层存储
JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-HDFS服务使用更加灵活，且一定程度减少了运维成本。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建...
设置Dataphin实例的计算引擎为Hadoop
集群存储根目录 计算引擎类型为E-MapReduce 5.x Hadoop且集群存储类型为OSS-HDFS时，需填写集群存储根目录。可以通过查看E-MapReduce 5.x Hadoop集群信息获取进行。如下图所示：执行引擎 根据实际业务情况，选择计算执行引擎。包括...
Credential Provider使用说明
使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法，请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....
概览
文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个单独的JAR文件，即 aliyun-sdk-dfs-x.y.z.jar。借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 ...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
大数据型
Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景 EMR JindoFS配合OSS实现大数据冷热数据分层和存储计算分离的场景 Spark内存计算、MLlib等机器学习场景 ElasticSearch、Kafka等搜索和日志数据处理场景 d3c包括的实例规格及...
文件存储 HDFS 版和数据库MySQL双向数据迁移
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
什么是OSS-HDFS服务
通过JindoFuse充分支持POSIX，可以在ClickHouse这类OLAP场景中替换本地磁盘来实现存储与计算分离方案。同时，得益于缓存系统进行加速，达到较优性价比。HBase存储与计算分离 OSS-HDFS服务原生支持文件、目录语义和操作，并支持flush操作，...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
在混合云场景下阿里云还有哪些存储和灾备解决方案？
在混合云场景下，阿里云推出了一系列存储和灾备解决...混合云存储阵列：部署在客户数据中心的存储阵列，实现本地存储与云存储空间扩展以及数据云端灾备和协同。云存储网关：以OSS作为后端存储，前端支持行业标准的文件和块存储协议的软网关。
通过OSS SDK接入开源生态
通过CDH5 Hadoop读取和写入OSS数据 通过配置CDH5实现读写OSS数据。Spark使用OSS Select加速数据查询 通过CDH集成Spark与OSS存储服务，加速数据查询。Apache Impala（CDH6）查询OSS数据 通过配置CDH6环境下的Hadoop、Hive、Spark、Impala等...
JindoFS实战演示
为了解决这些问题，您可以将HDFS中的热数据保留，将冷数据归档到OSS中，实现存储与计算分离。本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问...
产品优势
弹性 计算存储分离：解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群管理工具部署到EMR环境，详情请参见 管理引导操作 和 集群脚本。自主运维...
Credential Provider使用说明
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
Credential Provider使用说明
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
Hadoop使用JindoSDK访问OSS-HDFS服务
OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。...
配置OSS/OSS-HDFS Credential Provider
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
配置OSS/OSS-HDFS Credential Provider
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
NAS存储卷概述
持久化应用数据（非CNFS方式）具体操作，请参见：使用NAS静态存储卷 使用NAS动态存储卷 开启NAS存储卷配额（非CNFS方式）利用NAS的目录配额功能，实现对存储卷空间的有效控制。具体操作，请参见 扩容NAS存储卷容量。说明 如果您使用的是...
表格存储
表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。表格存储提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，实现PB级存储、千万TPS以及毫秒级延迟的服务...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
- 产品推荐
- 这些文档可能帮助您