CROSS JOIN
能将某一列中的多个元组转换成多行。数组结构转多行 将某一列转成数组，然后转成多行，示例如下：#建库 CREATE DATABASE mydb;USE mydb;建表 CREATE TABLE test(userid INT,user_name VARCHAR,product VARCHAR)distributed by hash(userid)...
Quick BI报表中如何隐藏某一列数据不显示
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI创建的仪表板中的交叉表如何隐藏某一列数据的展示。问题描述 仪表板中数据的某一列是否可以隐藏，如何隐藏交叉表中的某一列数据不显示。问题原因 新版本的Quick BI仪表板中...
ExistsQuery
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。数据结构 message ExistsQuery { optional string field_name=1;} 名称 类型 是否必选 描述 field_name ...
索引（2.0版）
但您可以针对某一列不创建索引或者删除索引。没有创建索引的列，建议不要在查询中进行筛选和计算。使用场景 列的类型为VARCHAR，写入长度超过16KB。使用方法 通过 DMS for AnalyticDB 建表时，列信息 中选择 无索引。通过 CREATE TABLE（2....
列存在性查询
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。说明 要对Nested字段进行列存在性查询（ExistsQuery）时，请使用嵌套类型查询（NestedQuery）进行嵌套。...
列存在性查询
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。说明 如果需要查询某一列为空，则需要和BoolQuery中的MustNotQueries结合使用。以下情况会认为某一列不存在...
列存在性查询
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。说明 要对Nested字段进行列存在性查询（ExistsQuery）时，请使用嵌套类型查询（NestedQuery）进行嵌套。...
使用HBase Shell
COLUMN CELL cf1:q1 timestamp=2022-09-14T16:06:34.339,value=v1 1 row(s)删除数据 删除单个数据 运行 delete 命令删除单个单元格的值，即表的某一行的某一列的值。例如，通过以下命令可以删除表的r2行，cf1:q1列的值。delete 'table1','r...
DataFrame概述
PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口，用Pandas进行计算。快速入门：为您介绍如何创建和操作DataFrame对象，以及使用Dataframe完成基本的数据处理。...
应用案例
该操作将基于CRS将每个DataFrame中的Tile列执行空间连接操作。默认情况下是左连接，并使用交运算符，右侧的所有Tile列会匹配左侧的Tile列的CRS、范围和分辨率等。详情请参见 多源异构栅格Join 和 Code。OSS与Lindorm数据源 DLA Ganos可以...
分布键的选择策略
选择经常需要JOIN的列作为分布键 可以实现 本地关联（Collocated JOIN）计算（如图一所示），因为JOIN键和分布键一致时，可以在计算节点内部完成JOIN。否则需要将一个表进行重分布（Redistribute motion）来实现 重分布关联（Redistributed...
索引加速
ZoneMap索引 ZoneMap索引是在列存格式上，对每一列自动维护的索引信息，包括Min/Max，Null值个数等等。这种索引由 云数据库 SelectDB 版 自动创建维护。前缀索引 不同于传统的数据库设计，云数据库 SelectDB 版 这类 MPP 架构的 OLAP 数据...
Spark SQL、Dataset和DataFrame基础操作
本文为您介绍Spark SQL、Dataset和DataFrame相关的概念，以及Spark SQL的基础操作。Spark SQL、Dataset和DataFrame介绍 Spark SQL是一个用于结构化数据处理的Spark模块，与基本的Spark RDD的API不同，Spark SQL的接口还提供了更多关于数据...
基本概念
排序 支持将Map输出的key record中的某几列作为排序（Sort）列，不支持您自定义的比较器（comparator）。您可以在排序列中选择某几列作为Group列，不支持您自定义的Group比较器。Sort列一般用来对您的数据进行排序，而Group列一般用来进行...
如何使用预定义列
二级索引的属性列必须为预定义列的一列或者多列。假设数据表的主键包括pk1、pk2和pk3三列，预定义列包括col1和col2两列，属性列包括col3和col4两列。创建二级索引时，pk1、pk2和pk3只能作为二级索引的主键列，col1和col2可作为二级索引的...
条件更新
列条件：包括SingleColumnCondition和CompositeCondition，是基于某一列或者某些列的列值进行条件判断。列条件中支持使用关系运算（=、!和逻辑运算（NOT、AND、OR），单个更新条件中最多支持设置10个列条件。SingleColumnCondition...
流表
选择某一列作为事件时间 重要 事件时间必须是TIMESTAMP或者TIMESTAMP_LTZ类型。以下示例指定user_action_time为事件时间。CREATE STREAM user_actions(user_name STRING,data STRING,user_action_time TIMESTAMP(3),-声明 user_action_time...
条件更新
列条件：包括SingleColumnCondition和CompositeColumnCondition，是基于某一列或者某些列的列值进行条件判断。SingleColumnCondition支持一列（可以是主键列）和一个常量比较。不支持两列或者两个常量相比较。CompositeColumnCondition的内...
MAX_BY与MIN_BY
Hologres从V1.3.36版本开始支持MAX_BY与MIN_BY函数，用于获取当某一列（y列）的值为最大值或最小值时，对应着的另外一列（x列）的取值。本文为您介绍MAX_BY与MIN_BY函数的用法。使用限制 该函数适用于Hologres V1.3.36及以上版本的实例，若...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
一级分区的规划和设计（2.0版）
AnalyticDB MySQL 2.0一级分区表采用HASH分区，可指定任意一列（不支持多列）作为分区列。HASH分区通过标准CRC算法计算出CRC值，并将CRC值与分区数作模计算，得出每条记录的分区号。空值的HASH值与字符串-1相同。以下按照优先级从高到底列...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
调试指南
df=iris.groupby('name').agg(id=iris.sepalwidth.sum())>>>df=df[df.name,df.id+3]>>>df.visualize()由上图可见，这个计算过程中，PyODPS DataFrame将 groupby 和列筛选做了操作合并。df=iris.groupby('name').agg(id=iris.sepalwidth.sum...
条件更新
列条件：包括SingleColumnCondition和CompositeColumnCondition，是基于某一列或者某些列的列值进行条件判断。列条件中支持使用关系运算（=、!和逻辑运算（NOT、AND、OR），单个更新条件中最多支持设置10个列条件。...
修改表
事实上 CREATE TABLE 中关于一列的描述都可以应用在这里。记住不管怎样，默认值必须满足给定的约束，否则 ADD 将会失败。也可以先将新列正确地填充好，然后再增加约束（见后文）。移除列 执行以下命令，移除一个列：ALTER TABLE products ...
条件更新
列条件：包括SingleColumnValueCondition和CompositeColumnValueCondition，是基于某一列或者某些列的列值进行条件判断。如果不满足列条件，则更改失败并给用户报错。SingleColumnValueCondition支持一列和一个常量比较。不支持两列或者两...
Python SDK示例：DataFrame
本文为您介绍Python SDK中DataFrame相关的典型场景操作示例。DataFrame PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。完整的DataFrame文档请参见 DataFrame。假设已经存在三张表，分别是 ...
条件更新
列条件 目前支持SingleColumnValueCondition和CompositeColumnValueCondition，是基于某一列或者某些列的列值进行条件判断，与过滤器Filter中的条件类似。列条件中支持使用关系运算（=、!和逻辑运算（NOT、AND、OR），单个更新条件中...
Sequence
SequenceExpr代表二维数据集中的一列。SequenceExpr只可以从一个Collection中获取，不支持手动创建SequenceExpr。前提条件 您需要提前完成以下步骤，用于操作本文中的示例：准备示例表 pyodps_iris，详情请参见 Dataframe数据处理。创建...
实例规格
实例规格 实例规格包括分...列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能得到完整的结果。
JSON索引
创建表时创建JSON索引 注意事项 若您在建表时手动指定为某一列或某几列创建INDEX索引，AnalyticDB for MySQL 不会再为表中其他列自动创建INDEX索引。语法 CREATE TABLE table_name(column_name column_type,index index_name(column_name|...
二级索引简介
当某些应用需要使用不同属性作为查询条件来执行数据查询时，您可以通过将这些属性作为二级索引的主键列实现按照属性快速查询数据的需求。表格存储提供了本地二级索引和全局二级索引来满足您不同读取一致性要求的查询场景。本文介绍了二级...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
TRANS_COLS
将一行数据转为多行数据的UDTF，将不同的列拆分为不同的行。使用限制 所有作为 key 的列必须处在前面，而要转置的列必须放在后面。在一个 select 中只能有一个UDTF，不可以再出现其他的列。命令格式 trans_cols(,,,…,,,)as(,,,…,,)参数...
聚合操作
name sepallength_max smin 0 Iris-setosa 5.8 4.3 1 Iris-versicolor 7.0 4.9 2 Iris-virginica 7.9 4.9 DataFrame提供了 value_counts 函数，按某列分组后，将每个组的个数从大到小进行排列。使用 groupby 函数实现。iris.groupby('name'...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
概述
使用场景 Mars与PyODPS DataFrame使用场景如下：Mars 经常使用PyODPS DataFrame的 to_pandas()方法，将PyODPS DataFrame转换成Pandas DataFrame的场景。熟悉Pandas接口，但不愿意学习PyODPS DataFrame接口的场景。使用索引的场景。创建...
预定义列操作
设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。前提条件 已初始化Client。具体操作，请参见 初始化。已创建数据表。增加预定义列 使用二级索引时，如果未设置预定义列或者预定义列不满足需求，可以为数据表...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
- 产品推荐
- 这些文档可能帮助您