使用最后一次访问时间的生命周期规则实现数据智能分层
存储路径 存储场景 生命周期策略 效果 data/存储了大量以wmv为后缀的直播视频文件，上传后仅前两个月有少量访问记录，其他时间基本没有访问记录 距离最后一次访问时间200天后转为低频访问类型（数据被访问后，依旧停留在低频档）生命周期...
功能特性
对象存储OSS是阿里云提供的海量、安全、低成本、高持久性的云存储服务。本文列举了OSS的常见应用场景以及对应的功能特性，请结合您的业务需求选用合适的场景。OSS支持以下功能特性：场景分类 应用场景 场景说明 参考文档 存储空间管理 创建...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
创建同城冗余存储Bucket
OSS 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%（12个9）的数据设计持久性。本文介绍如何...
使用云盘动态存储卷
除静态存储外，您也可以创建PVC并配置StorageClass来实现存储资源的动态分配，让系统为您自动预留持久化存储卷。您可以更关注集群应用的存储需求，无需预先手动创建和配置存储资源，降低底层基础设施的复杂性。使用限制 云盘不支持跨可用区...
GetDrdsDbRdsRelationInfo
返回数据 名称 类型 示例值 描述 Data Array of Data 存储实例结构列表，每一项对应一个主存储实例。RdsInstanceId String rm-bp16ad920ndxxxx02 存储实例ID。ReadOnlyInstanceInfo List[]只读存储实例ID列表。UsedInstanceId String rm-bp...
DBMS_PROFILER
您可以使用下列表中列出的函数和存储过程来控制剖析工具。表 1.DBMS_PROFILER函数/存储过程 函数/存储过程 类型 返回类型 描述 FLUSH_DATA 函数、存储过程 Status code、exception 刷新当前会话中收集的性能数据。GET_VERSION(major OUT,...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
附录：公共数据集
PAI提供的公共数据集来自官方的开源数据集，存在阿里云的公共读取存储中。您可以直接注册这些PAI的公开数据集，并且无需在自己的数据存储中创建副本，进而用于后续的数据处理及建模。本文介绍PAI公共数据集的详细内容及下载方法。背景信息 ...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
如何选择产品类型
阿里云CDP当前提供两个产品类型：基础版、专业版。不同的产品类型支持的功能范围不同。...其中专业版实例类型包含：Master（主节点）Utility（工具节点）Core（核心节点）Data-Service（数据服务节点）具体计费方式请参见 包年包月。
ETL工具支持概览
阿里云的数据集成服务（Data Integration）：阿里云提供的ETL工具。在数据集成服务中，将 AnalyticDB PostgreSQL版 配置为一个PostgreSQL数据库，即可实现其他数据源（RDS、MaxCompute、TableStore等）到 AnalyticDB PostgreSQL版 的数据...
加工数据
此处需要创建的数据表，如下所示：创建三张表，分别存储同步过来的电量下降趋势数据、指标数据和窃电标志数据清洗之后的数据（clean_trend_data、clean_indicators_data 和 clean_steal_flag_data）。创建表 data4ml，存储汇聚后的数据。...
Terraform概述
Terraform是一种开源工具，用于安全高效地预览，配置和管理云基础架构和资源。本文介绍Terraform的基本概念、使用优势和应用场景。基本概念 Terraform是一个云上资源编排工具，实现基础设施即代码。Terraform能够让您在阿里云上轻松使用...
Terraform概述
Terraform是一种开源工具，用于安全高效地预览，配置和管理云基础架构和资源。本文介绍Terraform的基本概念、使用优势和应用场景。基本概念 Terraform是一个云上资源编排工具，实现基础设施即代码。Terraform能够让您在阿里云上轻松使用...
选型配置说明
Utility工具节点在集群中扮演很重要的角色，存储了大量的集群元数据，并且维护了CDP的管控平台，因此Utility工具节点的可用性至关重要，Utility工具节点的存储仅支持云盘存储，以保证数据的可靠性。Core节点的选型 Core节点主要用于数据...
Terraform概述
Terraform是一种开源工具，用于安全高效地预览，配置和管理云基础架构和资源。本文介绍Terraform的基本概念、使用优势和应用场景。基本概念 Terraform是一个云上资源编排工具，实现基础设施即代码。Terraform能够让您在阿里云上轻松使用...
Terraform概述
Terraform是一种开源工具，用于安全高效地预览、配置和管理云基础架构和资源。本文介绍Terraform的基本概念、使用优势和应用场景。基本概念 Terraform是一个云上资源编排工具，实现基础设施即代码。Terraform能够让您在阿里云上轻松使用...
Terraform概述
Terraform是一种开源工具，用于安全高效地预览、配置和管理云基础架构和资源。本文介绍Terraform的基本概念、使用优势和应用场景。基本概念 Terraform是一个云上资源编排工具，实现基础设施即代码。Terraform能够让您在阿里云上轻松使用...
迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储...
如何优化数据导入导出
sed 's/\t/,/g'>/home/data_1000w.csv#csv文件以逗号分隔，数据格式：188092293,27267211,59775766593-64673028018-.-09474402685,01705051424-.-54211554755 原始数据格式适合load data语句导入数据，使用方法可参考：LOAD DATA 语句，...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
实例类型
数据服务节点（Data-Service）Data-Service节点主要用于部署Data Warehouse，Data Engineering和Machine Learning服务：Data Warehouse：使用Data-Service的Data Warehouse服务，用户可以创建相互独立的虚拟数仓，并且虚拟数仓可以根据负载...
宽表模型介绍
数据类型（Data Type）表格存储支持多种数据类型，包含String、Binary、Double、Integer和Boolean。生命周期（Time To Live）每个数据表可定义数据生命周期。例如生命周期配置为一个月，则表格存储会自动清理一个月前写入数据表的数据。...
功能发布记录
本文介绍了表格存储每次发布涉及的功能变更及对应的文档，帮助您了解 表格存储 的发布动态。2023年 2023年12月 功能名称 功能描述 发布时间 发布地域 相关文档 时序分析存储商业化 使用分析存储（Analytical Store）功能，您可以低成本存储...
表格存储
表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。表格存储提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，实现PB级存储、千万TPS以及毫秒级延迟的服务...
合约接口
runtime 字节码 block_number:data.block_number-5/使用之前几个区块，防止合约 ID 冲突 },(err,contract,data)=>{ console.log('local contract new result:',data)/使用本地执行合约部署得到的 runtime 字节码升级合约 myContract.update...
基于GitHub公开事件数据集的离线实时一体化实践
已开通对象存储OSS并在ECS中安装ossutil工具，用于存储 GH Archive 提供的JSON数据文件，详情请参见 开通OSS服务 和 安装ossutil。已开通大数据计算服务MaxCompute并创建Project，详情请参见 创建MaxCompute项目。已开通大数据开发治理平台...
基于GitHub公开事件数据集的离线实时一体化实践
已开通对象存储OSS并在ECS中安装ossutil工具，用于存储 GH Archive 提供的JSON数据文件，详情请参见 开通OSS服务 和 安装ossutil。已开通大数据计算服务MaxCompute并创建Project，详情请参见 创建MaxCompute项目。已开通大数据开发治理平台...
数据展示
表格存储对接Grafana后，您可以通过Grafana可视化展示表格存储中的数据。前提条件 首次使用表格存储时，请开通表格存储服务以及创建实例和数据表等。具体操作，请参见 通过控制台使用 或者 通过命令行工具使用。已为表格存储的数据表或者...
使用NAS静态存储卷
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已...
使用PAI Python SDK训练和部署PyTorch模型
labels-idx1-ubyte.gz-P data/MNIST/raw/wget-nv${url_prefix}t10k-images-idx3-ubyte.gz-P data/MNIST/raw/wget-nv${url_prefix}t10k-labels-idx1-ubyte.gz-P data/MNIST/raw/上传数据集到OSS 用户可以使用OSS提供的命令行工具 ...
PyTorch单机训练
arena logs pytorch-git 预期输出：WORLD_SIZE:1,CURRENT_RANK:0 args:Namespace(backend='nccl',batch_size=64,data='/mnist_data/data',dir='/mnist_data/logs',epochs=1,log_interval=10,lr=0.01,momentum=0.5,no_cuda=False,save_model...
通过NFS使用NAS静态存储卷
本文介绍如何使用阿里云NAS静态存储卷，及如何实现持久化存储与共享存储。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。已创建NAS文件系统。具体操作，请参见 创建文件系统。若需要加密NAS存储卷中的数据，...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
PyTorch分布式训练
arena logs pytorch-dist 预期输出：WORLD_SIZE:3,CURRENT_RANK:0 args:Namespace(backend='nccl',batch_size=64,data='/mnist_data/pytorch_data/',dir='/mnist_data/pytorch_data/logs',epochs=10,log_interval=10,lr=0.01,momentum=0.5,...
配置NAS共享存储
阿里云文件存储NAS（Network Attached Storage）是面向阿里云ECS实例、E-HPC和ACK等计算节点的文件存储服务。阿里云NAS服务具有无缝集成、共享访问、安全控制等特性，非常适合跨多个ECS、E-HPC或ACK实例部署的应用程序访问相同数据来源的...
测试环境与工具
本文主要介绍本次测试的测试环境和工具使用方式。测试环境要求 测试使用的操作系统为Alibaba Cloud Linux 3.2104 64位。压测端和Lindorm时序引擎在同一个VPC网络中，使用VPC地址进行连接。本测试中压测端使用的机器规格为ecs.c6e.26xlarge...
- 产品推荐
- 这些文档可能帮助您