创建DataFrame

pt_df2=o.get_table('partitioned_table').get_partition('pt=20171111').to_df()从Pandas DataFrame创建DataFrame 从Pandas DataFrame创建DataFrame,您需要将Pandas DataFrame对象传入DataFrame方法。代码示例 from odps.df import ...

概述

列式存储 Kudu是一种列数据储存结构,同一列数据被存储在底层存储的相邻位置。表(Table)数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性,且可以划分为多个Tablet。分片(Tablet)一个表可以被分到若干个分片中,称为...

配置映射

配置示例 宽表和索引表的列映射采用JSON文件实现,列映射的配置示例如下,将宽表 testTable 的数据同步至索引表 democollection,宽表的 f:name 这一列映射到索引表的 f_name_s 这一列,宽表的 f:age 这一列映射到索引表的 f_age_i 这一列...

Python SDK常见问题

该报错是由脏数据导致,请您检查数据列数是否和目标表一致。使用PyODPS读数据时,报错Project is protected,如何解决?Project上的安全策略禁止读取表中的数据,如果想使用全部数据,可以使用以下方法:联系Project Owner增加例外规则。...

PyODPS常见问题

该报错是由脏数据导致,请您检查数据列数是否和目标表一致。使用PyODPS读数据时,报错Project is protected,如何解决?Project上的安全策略禁止读取表中的数据,如果想使用全部数据,可以使用以下方法:联系Project Owner增加例外规则。...

表删除,更新和合并

通过合并的SQL语义,它将新数据与表中的现有数据进行匹配并删除重复数据,但是如果新数据集中存在重复数据,则将其插入。因此,在合并到表之前,对新数据进行重复数据删除。如果您知道天之内可能会得到重复的记录,则可以通过按日期对表...

DataFrame概述

Sequence Expr代表二维数据集中的一列。SequenceExpr只可以从一个Collection中获取,不支持手动创建SequenceExpr。Collection:为您介绍Collection。CollectionExpr中包含针对二维数据集的列操作、筛选、变换等大量操作。执行:为您介绍...

通过 Go 客户端连接数据库使用示例

返回结果表示 affectrows,这里返回 1L 参数说明:tableName:表名 rowkey:更新的主键名 columns:更新的目标列(一列或多列)values:需要更新的列值(一列或多列)long 返回值,表示具体更新的行数量(1行)replace 接口 您可使用该接口...

数据合并

本文向您介绍DataFrame支持的数据表的JOIN操作、UNION操作等数据合并操作。前提条件 您需要提前导入以下示例表数据,用于操作本文中的示例,其中示例源数据下载请参见 快速入门,使用到的两个示例表结构如下。from odps.df import ...

概述

使用场景 Mars与PyODPS DataFrame使用场景如下:Mars 经常使用PyODPS DataFrame的 to_pandas()方法,将PyODPS DataFrame转换成Pandas DataFrame的场景。熟悉Pandas接口,但不愿意学习PyODPS DataFrame接口的场景。使用索引的场景。创建...

Quick BI报表中如何隐藏某一列数据不显示

产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI创建的仪表板中的交叉表如何隐藏某一列数据...4.单击选择需要隐藏的一列数据的字段标签,在弹出的功能菜单中选择隐藏列即可不显示此列数据,如下图所示。更多信息 无 相关文档 无

UPDATE

根据UPDATE的技术原理,UPDATE时会将老数据做标记,新数据会Flush成新的小文件,后台会将这些小文件做Compaction,在Compaction的过程中就会将老数据给清理掉,并合并新数据。为了更新速度尽可能的快,后台会先将数据写完,待异步...

创建同步ElasticSearch

支持配置的时间格式 年 月 日 周%Y%m%d%U 示例一:每天凌晨生成一个新的index 配置index为 test_${%Y-%m-%d},如果当前日期为2021年3月31日,那么最终写入的index为 test_2021-03-31 示例二:根据数据列生成新的index 数据列中包含有一列 ...

DDL操作常见问题

本文为您介绍对表、分区、执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗?例如MySQL中的DUAL表?MaxCompute的表有无索引?如何修改表的Hash Clustering属性?如何将非分区表修改为分区表?因误操作删除...

虚拟

新的虚拟列类型可以不同于表中的原始列类型,以便支持用户在不修改表结构和数据的情况下新建一列新的列可以用于查询加速或者采用不同的分词器。一个Text字段支持不同的分词器 单个字符串列可以映射到多元索引多个Text列,不同Text列采用...

宽表模型介绍

宽表(WideColumn)模型是类Bigtable/HBase模型,可应用于元数据、大数据等多种场景,支持数据版本、生命周期、主键自增、条件更新、过滤器等功能。宽表模型在车联网场景中主要用于车辆元数据的存储与分析。说明 关于宽表模型的更多信息...

SELECT语法

MaxCompute支持通过 SELECT 语句查询数据。本文为您介绍 SELECT 命令格式及如何实现嵌套查询、分组查询、排序等操作。执行 SELECT 操作前需要具备目标表的读取数据权限(SELECT)。授权操作请参见 MaxCompute权限。本文中的命令您可以在...

Collection

DataFrame中所有二维数据集上的操作都属于CollectionExpr,可视为一张MaxCompute表或一张电子表单,DataFrame对象也是CollectionExpr的特例。CollectionExpr中包含针对二维数据集的操作、筛选、变换等大量操作。前提条件 您需要提前完成...

多版本数据管理

返回结果:+-+-+-+|c1|c3|c3_l_ts|+-+-+-+|1|22|2001|+-+-+-+示例四:每返回最新的两个版本数据,并且按照时间戳相同的列合并行返回结果集。查询语句中指定_l_versions_(N)属性会返回所有非主键的时间戳数据。SELECT/*+_l_versions...

2023年

使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移,包括两种使用场景:同云账号内不同Region...

Sequence

SequenceExpr代表二维数据集中的一列。SequenceExpr只可以从一个Collection中获取,不支持手动创建SequenceExpr。前提条件 您需要提前完成以下步骤,用于操作本文中的示例:准备示例表 pyodps_iris,详情请参见 Dataframe数据处理。创建...

SELECT语法

MaxCompute支持通过 select 语句查询数据。本文为您介绍 select 命令格式及如何实现嵌套查询、分组查询、排序等操作。执行 select 操作前需要具备目标表的读取数据权限(Select)。授权操作请参见 MaxCompute权限。本文中的命令您可以在...

使用限制

数据传输服务(上传/下载)限制 在MaxCompute中上传下载数据时的使用限制如下:批量数据通道使用限制说明 批量数据上传 UploadSession生命周期:24小时。单UploadSession写入分片(block)个数:20000个。单并发写入速度:10 MB/s。单分片...

Python SDK示例:Table

使用字段名及字段类型创建表:新数据类型 未打开新数据类型开关时(默认关闭),创建表的数据类型只允许为BIGINT、DOUBLE、DECIMAL、STRING、DATETIME、BOOLEAN、MAP和ARRAY类型。如果您需要创建TINYINT和STRUCT等新数据类型字段的表,可以...

级分区的规划和设计(2.0版)

AnalyticDB MySQL 2.0一级分区表采用HASH分区,可指定任意一列(不支持多列)作为分区列。HASH分区通过标准CRC算法计算出CRC值,并将CRC值与分区数作模计算,得出每条记录的分区号。空值的HASH值与字符串-1相同。以下按照优先级从高到底列...

数据管理

阿里云EMR Delta Lake提供了强大的数据处理能力,可以帮助您管理和操作数据,确保数据的质量和一致性。本文为您介绍EMR Delta Lake如何进行删除、更新与合并数据等操作。DELETE 该命令用于删除数据。示例如下。SQL DELETE FROM delta_table...

案例:构建文本语义检索系统

本文介绍如何使用AnalyticDB PostgreSQL向量数据库构建文本语义检索系统。背景信息 文本语义检索旨在通过理解查询文本的意图以及文本含义来得到更好的搜索结果。和传统的词法搜索不同,词法搜索通常只关注查询的关键词,而不理解查询的整体...

调试指南

df=iris.groupby('name').agg(id=iris.sepalwidth.sum())>>>df=df[df.name,df.id+3]>>>df.visualize()由上图可见,这个计算过程中,PyODPS DataFrame将 groupby 和筛选做了操作合并。df=iris.groupby('name').agg(id=iris.sepalwidth.sum...

数据库权限模型

如果您希望某个用户只查询某一张表的某一列数据,可以将该列的SELECT权限授予该用户,例如 GRANT select(customer_id)ON customer TO 'test321'。操作和权限关系 操作 需要的权限 权限支持的粒度 SELECT SELECT GLOBAL DB TABLE COLUMN ...

INSERT SELECT FROM(2.0版)

示例 提供列名的方式,从ORDER表中复制某几列数据订购表NEW_ORDER中。INSERT INTO new_order(customer_id,order_id,order_time,order_amount,order_type,address,city,order_season)SELECT customer_id,order_id,order_time,order_...

概述

对于Pandas自定义函数,输入数据的类型是Pandas中定义的数据结构,例如pandas.Series和pandas.DataFrame等,您可以在Pandas自定义函数中使用Pandas和Numpy等高性能的Python库,开发出高性能的Python自定义函数,详情请参见 Vectorized User...

交叉表

交叉表可以显示表中某个字段的汇总值,并对同类数据合并。其中在表的左侧,另在表的上部。行和的交叉处可以对数据进行多种汇总计算,例如求和、平均值、记数、最大值和最小值。本文为您介绍如何为交叉表添加数据并配置样式。...

式JSONB

包含复杂嵌套结构的JSONB数据 如下JSONB数据的根节点就是一个数组,且该数组中存放的是非同构的JSONB数据,当前Hologres在列式化JSONB数据的时候,遇到类似复杂的嵌套结构,会将这部分数据退化成一列,所以此JSONB数据开启列式JSONB优化,...

表批读写

Delta Lake支持Apache Spark DataFrame读写API提供的大多数选项,用于对表执行批量读写。说明 详细内容可参考Databricks官网文章:表批读写 有关演示这些功能的Databricks笔记本,请参阅 入门笔记本二。有关Delta Lake SQL命令的信息,请...

流式数据湖仓Paimon

流式数据湖仓Paimon连接器推荐配合Paimon Catalog使用,本文为您介绍如何使用流式数据湖仓Paimon连接器。背景信息 Apache Paimon是种流批统一的湖存储格式,支持高吞吐的写入和低延迟的查询。目前阿里云开源大数据平台E-MapReduce常见的...

如何对JSON类型进行高效分析

PolarDB 存索引(In Memory Column Index,IMCI)功能推出了完备的虚拟式JSON功能等,可以快速处理大数据和多种数据类型(包括结构化数据与半结构化数据等),并提供高效的数据分析、查询与流计算能力,适用于数据分析、数据仓库与...

FineBI

选择数据分布均匀的一列做为分布键,数据类型为时间的一列做为分区键。更多详情,请参见 表结构设计。观察集团商品销售总表中的几列数据,按单据编号分布较随机,且购物篮分析中,会用到单据编号做JOIN,因此用单据编号做分区键;用日期做...

更新或删除数据(UPDATE|DELETE)

MaxCompute支持通过 delete、update 操作,在行级别删除或更新Transactional表中的数据。本文中的命令您可以在如下工具平台执行:MaxCompute客户端 使用SQL分析连接 使用云命令行(odpscmd)连接 使用DataWorks连接 MaxCompute Studio 前提...

存索引技术架构介绍

同时,结合 PolarDB 基于共享存储写多读的架构特征,其包含如下个关键的技术创新点:存储引擎(InnoDB)支持存储式索引(Columnar Index),用户可以通过DDL语句为一张表中的全部或者部分创建索引,索引采用压缩存储,其...

插入数据

本文介绍了插入数据的相关内容。简介 当一个表被创建后,它不包含数据。在数据库可以有点用之前要做的第件事就是向里面插入数据数据在概念上是以每次行地方式被插入的。你当然可以每次插入多行,但是却没有办法一次插入少于行的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 云数据库 RDS 云服务器 ECS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用