Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
概述
本文介绍如何选择和优化阿里云存储服务，帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
使用教程
使用RangeRowQueryCriteria的setFilter()和addColumnsToGet()可以在表格存储的服务器端过滤掉不必要的行和列，减少访问数据的大小，降低成本，提高性能。通过添加对应多张表的多个RangeRowQueryCriteria，可以实现多表的union。通过添加同...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
冷热分离介绍
Lindorm宽表引擎的冷热分离功能可以将冷热数据分别存储在不同的介质上，有效降低了数据的存储成本。同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在...
设置数据冷热存储策略
冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置冷热数据存储策略的方法。前提条件 已开通冷存储功能。具体操作，请参见 开通冷存储。操作步骤 通过开源HDFS客户端访问文件引擎，具体操作，...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
如何选用NAS、OSS和EBS？
如：互联网业务的音视频存储、数据湖、云相册、个人/企业网盘类应用 适用于OLTP数据库、NoSQL数据库等IO密集型的高性能、低时延业务场景 访问模式 上千个ECS或上万个容器，通过POSIX接口并发读取相同文件，随机读写 数百万客户端通过SDK、...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
如何理解主键、数据分区和数据分区键
数据分区和分区键 表格存储会自动把表分成不同的数据分区，以达到对其存储数据的负载均衡。数据分区的划分粒度为主键的第一列，该列即为数据分区键。拥有相同数据分区键的行必然在同一个数据分区中。表格存储能够保证对具有同一数据分区键...
使用AccessKey访问表格存储
除了授权方式外，您还可以在 MaxCompute 中使用 AccessKey 访问表格存储的数据。准备工作 获取表格存储资源所属账号的 AccessKeyId 和 AccessKeySecret，如果该 AK 是资源所属账号的子账号，那么该子账号至少需要对表格存储相关的资源具有...
数据复制
本文介绍如何在 开源大数据平台 EMR（E-MapReduce）集群上，使用Spark3将 表格存储 中一张表的数据复制到另一张表中，全程使用SQL语句实现表的创建以及数据的复制操作。前提条件 已创建 EMR 集群。具体操作，请参见 创建EMR集群。重要 创建...
如何使用Java SDK快速删除存储空间及其中的历史版本
执行以下命令，需要删除整个Bucket，该Bucket可能包含有碎片数据，多版本数据，livechannel数据以及大量的存储数据。java-jar ossdelete.jar-endpoint=...
将表格存储数据表中数据同步到另一个数据表
} }@Override public void shutdown(){ } } } 使用DataWorks或者DataX迁移同步 通过DataWorks或者DataX实现表格存储数据的迁移同步，此处以DataWorks为例介绍迁移操作。步骤一：新增表格存储数据源 分别以源数据表和目标数据表所在实例新增...
方案实现
在前文的方案与架构基础上，本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统，并主要使用Timeline模型、基于推模式进行同步。表格存储消息（Timeline）模型是针对...
API概览
本产品（文件存储（NAS/CPFS）/2017-06-26）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...
概述
使用DTS同步 通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库同步到表格存储实例，轻松实现数据的流转。使用canal同步 对于中小规模的数据库或者个人开发者，通过canal，您可以将MySQL数据库中的全量数据或者增量...
数据加密
例如，深度学习样本文件的存储、在线协作类文档数据的存储。针对不同的应用场景，OSS有以下两种服务器端加密方式：使用KMS托管密钥进行加解密（SSE-KMS）上传文件时，可以使用默认KMS（Key Management Service）托管的CMK（Customer Master...
方案实现
基于 方案设计，表格存储实现了一个Tablestore-Grid的library，基于这个library您可以非常方便地实现气象格点数据的存储、查询和管理。提供以下接口：public interface GridStore {/*创建相关的meta、data表，数据录入前调用。throws ...
UpdateTimeseriesAnalyticalStore
调用...响应消息结构 message UpdateTimeseriesAnalyticalStoreResponse { } 使用SDK 您可以使用如下语言的SDK更新时序分析存储数据生命周期。Java SDK：更新分析存储的数据生命周期 Go SDK：更新分析存储的数据生命周期
DAS企业版介绍
说明 SQL洞察 功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS专业版设置的存储时长小于等于90天，则SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长以DAS专业版设置的存储时长为准。...
实例选型和集群规划
云原生数据仓库AnalyticDB PostgreSQL版 经过多次产品迭代升级，当前主流实例资源类型为存储弹性模式和Serverless模式。在购买实例时，根据本文选择合适的规格和存储空间，可以获得更好的业务体验。为了减少实例配置选型的复杂度，存储弹性...
使用在线迁移服务迁移数据
阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以轻松实现文件存储NAS之间的数据迁移。本文介绍如何通过在线迁移服务实现阿里云文件存储NAS之间的数据迁移。使用在线迁移服务，您只需在控制台填写源NAS和目标...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
混合云存储阵列如何实现数据的云端容灾备份？
混合云存储阵列支持用户在阵列本地存储空间中建立多版本快照，并将各时间的快照镜像上传到云端存储作为备份。混合云存储阵列也能支持本地存储和云端存储的文件数据同步，实现数据在云端的异地容灾存放。混合云存储阵列还能和传统备份软件...
资源分析
趋势分析 趋势分析为您展示了全局的 存储 和 计算 在一定的时间周期内的数据趋势，包括存储消耗的数据趋势和计算健康分、计算消耗、存储健康分，助您分析数据的稳定性。趋势分析中，默认以上图中的标识①处选择的报告日期为基础，展示最近...
资源分析
趋势分析 趋势分析为您展示了全局的 存储 和 计算 在一定的时间周期内的数据趋势，包括存储消耗的数据趋势和计算健康分、计算消耗、存储健康分，助您分析数据的稳定性。趋势分析中，默认以上图中的标识①处选择的报告日期为基础，展示最近...
概述
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储优化工作。您可以通过以下方式简化这项工作：建立用于优化存储和设置存储策略的持续机制。通过监控服务和账单密切监控存储成本。...
产品优势
多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型数据的一体化存储。宽表模型：经典模型，目前绝大部分半结构化、结构化数据均使用宽表模型进行存储。...
在混合云场景下阿里云还有哪些存储和灾备解决方案？
在混合云场景下，阿里云推出了一系列存储和灾备解决方案，包括：闪电立方：海量数据的快速离线和在线迁移。云备份：简单易用的数据备份上云服务。混合云容灾：支持客户数据本地加云端双备份以及业务系统云端拉起的容灾服务。混合云存储阵列...
OSS和NAS之间的数据迁移
本文介绍如何通过ossutil工具或在线迁移服务实现阿里云对象存储OSS和文件存储NAS之间的数据双向迁移。费用说明 使用ossutil工具迁移 ossutil工具本身不收取费用，但是由于迁移数据时涉及到API请求，所以会产生一定的API请求费用。OSS数据...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
什么是云存储网关CSG
云存储网关（Cloud Storage Gateway：简称CSG）是一款可以部署在用户本地数据中心和阿里云上的网关产品。它以阿里云对象存储（OSS）为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关目前...
图扑案例
对于需要实时采集海量数据的生产线、风电厂和智能交通态势感知数据的场景，为了实现实时数据采集、存储、索引和聚合，原存储方案中采用了ElasticSearch、Prometheus、Hbase分别存储从现场传感器、第三方系统和用户终端设备采集的时序指标、...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
治理分析
存储量 项目内所有数据表所消耗的存储资源。存储治理率 以右上角的报告日期为基础，按照最近7天内识别到治理项数量中，已完成治理项数占治理项总数的百分比。待治理项 项目中需要治理但还未治理的事项数量。操作 操作 下为您提供查看数据...
数据存储需求评估
在优化存储之前，需要了解每个业务负载的性能配置文件，测量每秒读写次数IOPS（Input/Output Operations...数据的敏感性 对于高度敏感的数据，不仅要确保其不丢失和损坏，还要保护其免受意外和恶意更改。数据的持久性、安全性和成本同样重要。
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
- 产品推荐
- 这些文档可能帮助您