流计算
使用Spark的DataFrame方式访问表格存储，并在本地和集群上分别进行运行调试。前提条件 了解Spark访问表格存储的依赖包，并在使用时通过Maven方式引入项目中。Spark相关：spark-core、spark-sql、spark-hive Spark Tablestore connector：...
概述
本文为您介绍Mars的功能、与PyODPS DataFrame的区别和使用场景。使用场景 Mars与PyODPS DataFrame使用场景如下：Mars 经常使用PyODPS DataFrame的 to_pandas()方法，将PyODPS DataFrame转换成Pandas DataFrame的场景。熟悉Pandas接口，但不...
Sequence
print(iris['sepallength'].head(5))返回结果 sepallength 0 4.9 1 4.7 2 4.6 3 5.0 4 5.4 列类型 DataFrame拥有自己的类型系统，进行表初始化时，MaxCompute的类型会被转换成对应的DataFrame类型，以便支持更多类型的计算后端。...
Python SDK常见问题
PyODPS中的DataFrame最多可以处理多少数据，对表的大小有限制吗？在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果...
PyODPS常见问题
PyODPS中的DataFrame最多可以处理多少数据，对表的大小有限制吗？在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果...
执行
wrapped_df=iris.head(3).to_pandas(wrap=True)保存执行结果为MaxCompute表 对于Collection，您可以调用 persist 方法，用于返回一个新的DataFrame对象，参数为表名。iris2=iris[iris.sepalwidth].persist('pyodps_iris')print(iris2.head...
快速入门
本文以具体数据及开发场景为例，为您介绍在DataWorks数据开发的PyODPS 3节点中，如何创建和操作MaxFrame中的DataFrame对象，以及使用DataFrame完成基本的数据处理，帮助您在十分钟内快速使用MaxFrame进行开发。数据准备 本文以 movielens ...
开发PyODPS 2任务
执行 在DataWorks的环境里，DataFrame 的执行需要显式调用 立即执行的方法。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))for record in iris[iris.sepal_width].execute():#调用立即执行的方法，处理每条...
开发PyODPS 2任务
执行 在DataWorks的环境里，DataFrame 的执行需要显式调用 立即执行的方法。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))for record in iris[iris.sepal_width].execute():#调用立即执行的方法，处理每条...
开发PyODPS 3任务
执行 在DataWorks的环境里，DataFrame 的执行需要显式调用 立即执行的方法。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))for record in iris[iris.sepal_width].execute():#调用立即执行的方法，处理每条...
开发PyODPS 3任务
执行 在DataWorks的环境里，DataFrame 的执行需要显式调用 立即执行的方法。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))for record in iris[iris.sepal_width].execute():#调用立即执行的方法，处理每条...
数据输入输出
df.to_odps_table("parted_table",partition_col=["pt_col"]).execute()Pandas对象 您可以将本地Pandas的DataFrame对象和MaxFrame的DataFrame进行互相转换。当调用 read_pandas 方法时，Pandas对象将被上传至MaxCompute并在集群中使用。md_...
快速入门
from odps.df import DataFrame users=DataFrame(o.get_table('pyodps_ml_100k_users'))您可以通过 dtypes 属性查看这个DataFrame的字段及字段类型。print(users.dtypes)返回值 odps.Schema { user_id int64 age int64 sex string ...
在本地环境上使用PyODPS
from odps import options options.verbose=True 更多DataFrame的操作示例请参见 DataFrame概述。设置运行参数hints 运行任务时如果需要设置运行时参数，可以通过设置 hints 参数来实现，参数类型是dict。o.execute_sql('SELECT*FROM ...
批计算
使用Spark的DataFrame方式访问表格存储，并在本地和集群上分别进行运行调试。前提条件 了解Spark访问表格存储的依赖包，并在使用时通过Maven方式引入项目中。Spark相关：spark-core、spark-sql、spark-hive Spark Tablestore connector：...
数据存储需求评估
阿里云存储服务为不同的存储场景提供存储优化方案，并没有一个通用的方案能够适用于所有的存储场景。因此，当您在评估存储需求时，请考虑对不同的业务负载分别选择不同的存储方案。您在每个业务负载中划分数据并确定存储需求时，需要考虑...
PyODPS概述
如果后续操作的都是本地的DataFrame，则丧失了MaxCompute 的大规模并行计算能力，且数据量稍大时，单机内存就很容易产生OOM。提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到...
上传到OSS的文件存储类型为归档存储无法下载文件
问题原因 OSS文件上传时会继承Bucket的存储类型，因此上传到OSS的文件存储类型为归档存储的原因如下：Bucket的存储类型为标准存储，但是需要下载的文件为归档存储，则说明上传文件时的代码中设置的存储类型为归档存储。Bucket的存储类型为...
云存储网关提供哪些服务
本文简要介绍云存储网关服务。云存储网关是一款可以将本地应用程序、基础设施、...通过可在本地数据中心和阿里云部署的兼容行业标准存储协议的虚拟设备，将现有的存储应用程序和工作负载连接阿里云存储服务，无缝对接阿里云的存储和计算服务。
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储优化工作。您可以通过以下方式简化这项工作：建立用于优化存储和设置存储策略的持续机制。通过监控服务和账单密切监控存储成本。...
Python组件常用SDK
None：返回dict dataFrame：返回DataFrame sample_period 采样周期（单位：秒），表示返回的DataFrame数据的时间间隔。例如：sample_period="5"，表示每隔5s返回一条数据。默认为None。说明 data_type为None时可以不传当前参数；data_type...
PySpark基础操作
您可以通过PySpark提供的DataFrame接口，完成各种计算逻辑。本文为您介绍PySpark的基础操作。操作步骤 初始化SparkSession。初始化SparkSession作为PySpark的执行入口。from pyspark.sql import SparkSession spark=SparkSession.builder....
调试指南
对于来自ODPS表的DataFrame，部分操作不会编译到ODPS SQL执行，而会使用Tunnel下载表数据。这个下载的过程很快，且无需等待ODPS SQL任务的调度。利用这个特性，您可以快速下载小部分ODPS数据到本地，使用Pandas计算后端进行代码编写和调试...
碎片如何计费？
对于分片上传过程中产生的碎片（Part），OSS会根据Part的存储类型、实际大小和时长收取存储费用。费用说明 Part的存储类型与Object的存储类型一致，但是Part无最小计量限制。即某个Part小于64 KB，仍然按照Part的实际大小计算。关于Part...
列举存储空间
for b in oss2.BucketIterator(service,prefix='example'):print(b.name)列举指定marker之后的存储空间 以下代码用于列举当前账号所有地域下名称的字母序排在examplebucket之后的存储空间。coding:utf-8-*-import oss2 from oss2....
存储空间概览
存储用量 说明 总用量（不含ECS快照）查看存储空间所有存储类型占用的存储量，不包含ECS快照的存储量。标准存储（本地冗余）/标准存储（同城冗余）查看标准存储类型的存储量。存储空间冗余类型为本地冗余时，显示 标准存储（本地冗余）用量...
列举存储空间
buckets=client.list_buckets buckets.each {|b|puts b.name } 列举指定前缀的存储空间 以下代码用于列举当前账号所有地域下以example为前缀（prefix）的存储空间。require 'aliyun/oss' client=Aliyun:OSS:Client.new(#Endpoint以华东1...
获取存储空间的存储容量
本文介绍如何获取指定存储空间（Bucket）的存储容量以及Bucket内不同存储类型文件（Object）的数量及其存储容量。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
0013-00000103
问题描述 当前的Bucket类型不支持 x-oss-storage-class 指定的存储类型。问题原因 您发起了CopyObject等请求，并在请求头中通过 x-oss-storage-class 指定了目标存储类型，但是您指定的Bucket由于是3AZ类型等原因，而不支持您通过 x-oss-...
在账单明细中查看或导出的账单显示存储量与实际不符？
本文介绍在账单明细中查看或导出的账单显示存储量与实际不符的原因。OSS以小时为周期统计所有资源的使用量。...例如，当天的存储量为1 TB，则账单显示的存储量为24 TB。但是账单显示结果并不影响计费结果，即按照1 TB数据存储了24小时计费。
表批读写
此设置可能会导致您的存储成本上升。重要 VACUUM 不清理日志文件；写入检查点后，日志文件将自动清除。按时间顺序查看到以前的版本，必须保留日志文件和该版本的数据文件。案例 修复用户111表的意外删除问题：SQL%sql INSERT INTO my_table...
列举存储空间
存储空间（Bucket）是用来存储对象（Object）的容器。对象都隶属于存储空间。存储空间按照字母顺序排列。...const OSS=require('ali-oss');const client=new OSS({/yourregion填写Bucket所在地域。...region:'yourregion',/从环境变量中获取访问...
阿里云存储服务
对象存储 对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务，尤其适合非结构化数据（如图片、音视频）的存储。OSS在阿里云上提供高级别的数据持久性和可用性。其存储类型分为标准存储、低频...
0015-00000226
问题描述 Bucket所在地域不支持指定的存储类型。问题原因 您发起了PutBucket请求，但是您指定的地域或您指定的Bucket所在的地域，不支持您在请求中指定的存储类型（StorageClass）。问题示例 比如您发起了如下请求：PUT/...
文件系统存储类型
本文介绍通用型NAS文件系统的存储类型。存储类型 通用型NAS文件系统提供了为实现低成本存储而设计的不同存储类型，分别为标准存储、低频存储和归档存储。标准存储：提供高可靠、高可用、高性能的文件存储服务，适用于存储频繁访问的热数据...
快照服务
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。相比于随包年包月ECS实例购买的云盘或者其他单一产品流量包，SCU可以与多种云产品搭配使用，兼具了性价比与资源...
0017-00000132
问题描述 x-oss-storage-class 请求头的值不是合法的存储类型。问题原因 该报错原因是指定Object存储类型时，x-oss-storage-class 请求头的值不是合法的存储类型。存储类型的合法取值如下：Standard：标准存储。IA：低频访问。Archive：...
0014-00000062
您提交的PutBucketLifecycle请求配置中 NoncurrentVersionTransition 节点下的 StorageClass 子节点的值是合法的存储类型的字符串，但是对应的存储类型在该规则中不支持，或在当前地域不支持。问题示例 以下请求体XML中 ...
网盘与相册服务PDS
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。抵扣系数 阿里云网盘与相册服务PDS分为开发者版和企业版，SCU仅支持抵扣网盘与相册服务（开发者版）。下表列出...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
- 产品推荐
- 这些文档可能帮助您