schema设计原则
列簇基数 如果一个表存在多个列簇，要注意列簇之间基数（如行数）相差不要太大。例如：列簇A有100万行，列簇B有10亿行，按照行键切分后，列簇A可能被分散到很多地域（及RegionServer），这导致扫描列簇A十分低效。版本数量 行的版本的数量...
批量数据合并
计算逻辑原理 内连接：使用两个数据中索引列的交集，类似于SQL内部连接。外连接：使用两个数据中索引列的并集（外连接合并时可能会产生空值（值为NaN）），类似于SQL外部连接。参数说明 IN1端口-输入参数 参数名 参数描述 是否必填 输入...
向量聚合
可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 数据 存储在MaxCompute或者OSS中的结构化数据 无 是【右侧参数表单】页签 参数 描述 字段设置 选择的列名 需要合并的列名，可以选择数值列或向量列。...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
匹配查询
MatchQuery采用近似匹配的方式查询表中的数据。对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。前提条件 已初始化...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
UNIQ
从Hologres V2.1版本开始，Hologres针对COUNT DISTINCT场景做了非常多的性能优化（包括单个COUNT DISTINCT、多个COUNT DISTINCT、数据倾斜、SQL没有GROUP BY字段等场景），无需再手动改写成UNIQ实现，即可实现更好的性能。详情请参见 Count...
赋值节点
赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，使用不同赋值语言时，赋值节点的参数（outputs）输出格式不同，下游节点需要根据outputs的具体情况，以${参数名} 的格式，使用 一维数组 或 二维数组 的方式在代码中获取赋值节点传递的...
pg_type
typarray oid 如果 typarray 不是0，则它标识 pg_type 中的另一行，这一行是一个将此类型作为元素的“真的”数组类型。typinput regproc 输入转换函数（文本格式）。typoutput regproc 输出转换函数（文本格式）typreceive regproc 输入...
UDTF概述
即其输入与输出是一对多的关系，读入一行数据，输出多个值可视为一张表。MaxCompute支持您通过如下两种代码语言编写UDTF。UDTF类型 说明 Java UDTF 使用Java语言编写UDTF逻辑实现代码。更多信息，请参见 Java UDTF。Python UDTF 使用Python...
自定义表值函数（UDTF）
返回的行可以由1个或多个列组成。调用一次函数输出多行或多列数据。与自定义的标量函数类似，但与标量函数不同。使用限制 由于Flink全托管产品受部署环境和网络环境等因素的影响，所以开发Python自定义函数时，需要注意以下限制：仅支持...
CSV数据文件格式
id 值相同的多个顶点行适用于图形中的单个顶点。边ID 每个边文件中所有边的~id 值都必须是唯一的。id 值相同的多个边行适用于图形中的单个边。标签 标签是字符串类型，区分大小写。字符串值 引号是可选的，当包含逗号等特殊字符时需要使用...
多语言API访问
说明 一些语言提供了管理依赖的方法，可以遵循这些语言的使用习惯来安装thrift，如Python语言可以通过 pip install thrift 来安装，Go语言可以直接在代码里 import {"github.com/apache/thrift/lib/go/thrift"} 。下载 HBase Thrift2定义...
添加安全组
安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在Lindorm实例的白名单中添加安全组后，该安全组中的ECS实例就可以访问Lindorm实例。本文介绍添加安全组的方法。前提条件 通过ECS安全组设置Lindorm白名单时，需要满足以下...
报警通知合并
当同一个阿里云账号的多个资源在同一报警规则和周期内同时报警时，为减少报警资源的消耗和冗余信息的干扰，云监控在第一条报警通知发出后，以一分钟为周期对后续的报警通知进行合并发送。本文将介绍不同报警规则下的报警通知合并示例。报警...
Python SDK调用示例
本文以Python语言为例，介绍如何使用OpenAPI调用SingleCallByVoice接口向指定手机号发送语音通知。步骤一：查看OpenAPI文档 在调用OpenAPI前，建议您阅读对应接口文档 SingleCallByVoice，了解、学习调用该接口所需要的参数及权限等，更多...
数据转换
例如合并多个查询分析结果、对查询分析结果进行分类等。注意 仅统计图表（Pro版本）支持设置数据转换。日志服务支持的统计图表（Pro版本），请参见 图表类型。每个数据转换存在唯一的ID，采用字母T+大写字母的格式，例如TA、TB。在设置数据...
两表并集
本文介绍两表并集算子的使用方法及注意事项。用途 两表并集算子可以将两张数据表按照设置的合并条件求取并集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 ...
Split Word
取值范围为：合并中文数字 合并阿拉伯数字 合并中文日期 合并中文时间 默认值为：合并阿拉伯数字。过滤器 过滤器的类型。取值范围为TAOBAO_CHN和INTERNET_CHN。默认值为TAOBAO_CHN。Pos Tagger 是否进行词性标注。默认进行词性标注。...
交叉表
交叉表组件以表格形式展示数据，对比表格组件增加了行表头、列表头及合计行或列数据的功能。本文介绍组件的详细配置方法。应用示例 展示某公司某物品在地域A和地域S，2019年和2020年的第一季度的销售单价（price）和销售量（sales）情况。...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
分区合并
执行以下SQL将表组mytg1的p1、p2合并成一个新分区p12（意味着tb1和tb2的分区p1、p2会同步的合并成一个新分区p12）：ALTER TABLEGROUP mytg1 MERGE PARTITIONS p1,p2 TO p12 List/List column 分区表分区合并 对于list/list column分区策略...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
Compaction（Beta）
例如Level 0的文件达到五个后，会自动触发Compaction，将五个文件合并，合并后的文件默认最大为64 MB，如果文件大小超过64 MB后，会生成多个文件，合并后的文件会放到Level 1，示意图如下所示：Full Compaction Auto Compaction只会发生在...
代码组设置
代码组是代码库的集合，将代码库组织在一个代码组中，工作方式与文件夹类似，可以设置代码组成员，管理对组内代码库的权限。代码组下可以创建子代码组。新建代码组 登录云效代码管理，顶部导航上点击 新建代码组。在新建弹窗页面填写代码组...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
内置函数（Builtin-Functions）
Fn:MergeMap：将列表中多个Map合并成一个Map。Fn:Join：将一组值连接起来，用特定分隔符隔开。Fn:Select：数据元容器通过查询索引返回的单个数据元。Fn:Split：通过指定分隔符对字符串进行切片，并返回所有切片组成的列表。Fn:Replace：将...
数组函数
array_lower('[0:2]={1,2,3}':int[],1)0 array_positions(anyarray,anyelement)ARRAY 返回在第一个参数给定的数组（数组必须是一维的）中，第二个参数所有出现位置的下标组成的数组。array_positions(ARRAY['A','A','B','A'],'A'){1,2,4} ...
Map映射函数和运算符
字段样例 request_method:POST request_time:80 查询和分析语句*|SELECT map_agg(request_method,request_time)查询和分析结果 map_concat函数 map_concat函数用于将多个Map合并为一个Map。语法 map_concat(x,y)参数说明 参数 说明 x 参数...
Python 3 UDTF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。引用文件资源和表资源的代码示例如下。from odps.udf import annotate from odps.udf import BaseUDTF from odps.distcache import ...
ST_CostUnion
合并所有的障碍物网格开销数组，重叠的网格采用最大的开销并只保留一个，支持退化网格合并。语法 gridcost[]ST_CostUnion(gridcost[]barriers);参数 参数名称 描述 barriers 网格开销数组。描述 合并所有的障碍物网格开销数组，重叠的网格...
继承
在本数据库中，一个表可以从 0 个或者多个其他表继承，而对一个表的查询则可以引用一个表的所有行或者该表的所有行加上它所有的后代表。默认情况是后一种行为。例如，下面的查询将查找所有高度高于 500 尺的城市的名称，包括州首府：SELECT...
ST_CostUnion
合并所有的障碍物网格开销数组，重叠的网格采用最大的开销并只保留一个，支持退化网格合并。语法 gridcost[]ST_CostUnion(gridcost[]barriers);参数 参数名称 描述 barriers 网格开销数组。描述 合并所有的障碍物网格开销数组，重叠的网格...
实例规格
实例规格 实例规格包括分片和副本数，分片规格分为2核8G、4核16G、8核32G、16核64G，副本数可以在购买实例后，通过升配和降配来调整。分片、副本说明 分片即为列，副本为...每个请求过来BE会请求多列，将所有列结果合并后才能得到完整的结果。
合并请求
典型的合并请求处理过程涉及如何提交合并请求、如何对合并请求进行评审以便确定是否接受请求、由谁来处理合并、合并后的通知机制等问题。通过 合并请求 功能，您可以：比较两个分支之间的变化。在线查看和评论代码修改，并 记录问题状态。...
Python 3 UDAF
buffer,pbuffer):buffer[0]+pbuffer[0]def terminate(self,buffer):return str(buffer[0])UDAF的返回值只能固定为1个，以上UDAF示例中，返回值是多个输入参数求和，然后多行聚合求和的结果，使用示例如下。根据输入多个参数求和 SELECT my_...
数据加工
合并 合并用于将两张表合并为一张表，合并的数据在行上扩展。合并节点用于将数据输入1节点和数据输入2节点中，名称相同的字段进行合并。从左侧的节点操作区，拖拽 合并 至画布区。连接需要合并的节点。配置合并节点。此时，合并节点中的...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的...
创建自定义监控
您可以在日志样本中选中目标一个关键词，系统会根据该关键词的位置自动生成一个 列值选取规则，并在下方的 列值采样 表格中显示根据这一选取规则采样得到的列值，完成后，在最下方填入列名，单击 确定，完成白名单列的选取。左起右至分隔符...
Quick BI交叉表报错“列维度值组合数过多（超过500）...
产品名称 Quick BI 产品模块 可视化组件 概述 Quick BI的交叉表，列数有最多500列的限制，即横向太长，超过了500列就会异常。问题描述 创建交叉表时报错“列维度值组合数过多（超过500）”，但没有放500个字段 问题原因 交叉表总列数不能...
- 产品推荐
- 这些文档可能帮助您