折叠（去重）
折叠功能可以在大部分场景下实现去重（Distinct）功能，相当于按照折叠列做去重，但是只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列，且只能返回排序后的前50000个结果。注意事项 折叠功能只能使用offset+limit方式翻页...
赋值节点
下游获取赋值节点结果集：应用示例一 本示例中，直接通过拉线，将start节点作为所有赋值节点的上游节点，down_compare节点作为所有赋值节点的下游节点，其中down_compare节点为Shell节点，以${参数名} 的格式，使用 一维数组 或 二维数组 ...
用户画像分析概述
函数的主要思路是通过一遍数据过滤，将uid满足条件的集合以位数组形式存放，通过 bit_match 函数在位数组进行与运算实现数据过滤，示例如下。WITH tbl as(SELECT uid,bit_or(bit_construct(a:=(action='click' and page='购物车'),b:=...
复杂类型函数
函数类别 函数 功能 ARRAY函数 ALL_MATCH 判断ARRAY数组中是否所有元素都满足指定条件。ANY_MATCH 判断ARRAY数组中是否存在满足指定条件的元素。ARRAY 使用给定的值构造ARRAY。ARRAY_CONTAINS 检测指定的ARRAY中是否包含指定的值。ARRAY_...
实时UV精确去重（Flink+Hologres）
实时UV计算主要依赖Hologres与Flink结合完成，本文将为您介绍Hologres如何进行实时UV精确去重。前提条件 开通Hologres并连接开发工具，示例使用HoloWeb，详情请参见 连接HoloWeb。准备并搭建好Flink集群环境，您可以使用 阿里云Flink全托管...
聚合函数
聚合（Aggregate）函数的输入与输出是多对一的关系，即将多条输入记录聚合成一条输出值，可以与MaxCompute SQL中的 group by 语句配合使用。本文为您提供MaxCompute SQL支持的聚合函数的命令格式、参数说明及示例，指导您使用聚合函数完成...
关联数组
二维关联数组支持的场景 在只有一维关联数组的情况下，如果需要实现类似二维关联数组的功能，需要使用一个中转表间接实现，示例如下：DECLARE type TB1 is table of varchar(10)index by varchar(10);type TB2 is table of TB1 index by ...
附录：DAG图功能介绍
运维中心DAG图支持您查看节点的上下游依赖关系，此外，还支持节点聚合、上下游分析功能，帮助您提高运维效率。本文为您介绍DAG图的相关功能。使用限制 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能...
文档修订记录
标签分账 2024.02.21 新增API 新说明 为您介绍以下API信息：更新资源组 开启数据湖加速 计算组列表 计算组详情 关闭数据湖加速 ChangeResourceGroup-更新资源组 EnableHiveAccess-开启数据湖加速 ListWarehouses-计算组列表 ...
数组类型
上述命令将创建一个名为 sal_emp 的表，它有一个类型为 text 的列（name），一个表示雇员的季度工资的一维 integer 类型数组（pay_by_quarter），以及一个表示雇员每周日程表的二维 text 类型数组（schedule）。CREATE TABLE 的语法允许...
Java SDK使用说明
content：表示输入Tensor的内容，采用一维数组表示。如果输入Tensor的DataType为DT_FLOAT、DT_COMPLEX64、DT_BFLOAT16或DT_HALF，则 content 中的元素类型为FLOAT。其中DataType为DT_COMPLEX64时，content 中相邻两个FLOAT元素依次表示复数...
Golang SDK使用说明
功能：获取输出Tensor的数据向量，输出结果以一维数组的形式保存。您可以配套使用 GetTensorShape()接口，获取对应Tensor的Shape，将其还原成所需的多维Tensor。支持的类型包括FLOAT、DOUBLE、INT、INT64、STRING及BOOL，接口名称与具体...
Python SDK使用说明
get_values(output_index)功能：获取输出Tensor的数据向量，输出结果以一维数组的形式保存。您可以搭配使用 get_tensor_shape()接口，获取对应Tensor的Shape，将其还原成所需的多维Tensor。接口会根据 output 的类型，返回不同类型的结果数...
用户行为分析（UV）概述
该方案数据链路简单，可以任意维度灵活计算，只需要一份Bitmap存储，也没有存储爆炸问题，还能保证实时更新，从而实现更实时、开发更灵活、功能更完善的多维分析数仓。使用详情请参见 实时UV精确去重（Flink+Hologres）。
do-while节点逻辑原理介绍
do-while节点获取赋值节点结果集时，Shell赋值语言需使用 一维数组 的方式在代码中获取赋值节点传递的结果集、或结果集中的指定数据；ODPS SQL赋值语言需使用 二维数组 的方式在代码中获取赋值节点传递的结果集、或结果集中的指定数据。...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
RestAPI Reader最佳实践
返回数据结构：本示例接口的返回结果为一个JSON数组，此处选择 数组数据。数据存储json路径：本示例接口获取的数据存储于data下，此处配置为 data。请求参数：请求参数与调度参数搭配使用，实现每天同步当天数据的。请求参数配置为 ...
功能发布记录
本文为您介绍Hologres产品功能的发布信息。Hologres V2.2版本（2024年04月）2024年04月正式发布Hologres V2.2版本，新增功能如下：引擎能力增强 引擎底层能力持续优化，整体性能相比之前版本提升约15%。专注于向量执行引擎（Hologres Query...
字符串函数
CONCAT 命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])命令说明 输入为ARRAY数组：将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组。输入为字符串：将多个字符串连接在一起，生成...
for-each节点逻辑原理介绍
节点遍历次数由赋值节点输出的结果集决定：Shell、Python遍历次数：按一维数组类型的输出，循环遍历次数即为一维数组元素的个数（按逗号切分）。例如，赋值节点的赋值语言为Shell或Python（Python2）时，输出结果为一维数组：2021-03-28,...
智能监控概述
智能监控功能支持您通过配置自定义规则，实现对任务运行状态及资源使用情况的监控；通过配置智能基线，保障复杂依赖场景下重要数据在预期时间内正常产出。同时，您还可以根据业务需求自定义资源组运维规则，实现资源组的自动化运维。功能...
Bloom
新创建的布隆过滤器是一串被置为0的Bit数组（假设有m位），同时声明k个不同的Hash函数生成统一的随机分布（k是一个小于m的常数）。向布隆过滤器中添加元素时，通过k个Hash函数将元素映射到Bit中的k个点，并将这些位置的值设置为1，一个Bit...
2019年
本文为您介绍了MaxCompute 2019年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。2019年12月更新记录 时间 特性 类别 描述 产品文档 2019-12-31 新增Oracle数据迁移...
文档修订记录
使用Copilot+增强分析实现一站式智能数据查询与可视化 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023.10.30 新增功能 数据建模API DataWorks支持调用QueryPublicModelEngine接口查询单个指标所依赖模型的相关信息、查询复合指标。...
概览
P2 批量源表读取字符或字符数组类型，其中比较特殊字符时，解析字符串失败。4.0.14及之前版本 4.0.15 清理源表中的脏数据，或者升级版本。P2 全增量一体化源表DDL中声明 hg_binlog 等Binlog独有字段时，消费不到全量数据。4.0.13 4.0.14 不...
ADP底座/本地运维控制台
v1.0.4 新特性 优化了时钟同步功能，接口为ClusterAPIConfig的.spec.ntpServers字段，类型是string数组，使用方法如下：若用户已为集群配置好ntpd/chronyd服务，.spec.ntpServers不填；若用户尚未配置ntpd/chronyd服务，但有外部时钟服务器...
ARRAY_EXCEPT
任一输入数组为空时，返回对非空数组去重后的新ARRAY数组。输入数组全部为空时，返回空数组。使用示例 示例1：找出在ARRAY数组 array(1,1,3,3,5,5)中，不在ARRAY数组 array(1,1,2,2,3,3)中的元素并去重。命令示例如下。返回[5]。select ...
功能发布记录
2021-12 全部 支持的可信服务 资源组 新增支持资源组的云服务：资源编排（ROS）系统运维管理（OOS）2021-12 全部 支持资源组的云服务 当跨资源组转入资源时，转入来源的资源组列表支持搜索功能。资源转入到当前资源组 标签 创建者标签变更...
DataWorks大数据开发治理平台
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
2.2 门禁一体机标准协议接口定义
1 方案介绍 门禁一体机标准协议支持人脸识别、二维码、刷卡、蓝牙、可视对讲、梯控功能接入物业管理一体机。2 通用 门禁机对接边缘服务器，访问10000端口。边缘服务器访问门禁机的端口由设备厂商自定义，定义后固定不变。所有HTTP 报文的...
规则管理
当 对象类型 为 独享调度资源组 和 独享数据集成资源组 时，则需要在下拉列表中选择需要监控的 资源组名称。配置触发方式 说明 自定义报警逻辑中，任务冻结状态表示任务已完成。对象类型 触发条件 描述 任务节点、基线、工作空间、业务流程...
周期任务基本运维操作
您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您介绍周期任务的运维操作详情。使用说明 仅生产环境运维中心支持...
数组函数
array_lower('[0:2]={1,2,3}':int[],1)0 array_positions(anyarray,anyelement)ARRAY 返回在第一个参数给定的数组（数组必须是一维的）中，第二个参数所有出现位置的下标组成的数组。array_positions(ARRAY['A','A','B','A'],'A'){1,2,4} ...
COLLECT_LIST
10|[2450,5000,1300,5000,2450,1300]|20|[800,2975,3000,1100,3000]|30|[1600,1250,1250,2850,1500,950]|+-+-+示例3：与 group by 配合使用，对所有职工按照部门（deptno）进行分组，并将同组的职工薪资（sal）去重后聚合为一个数组。...
Clickhouse兼容函数
返回结果 {1,2,3,4,5,6} arrayDistinct(anyarray)描述：返回数组中去重后的元素组成的新数组。Hologres实现：array_distinct(anyarray)。说明 Hologres V1.3.19版本起支持array_distinct函数，暂不支持常量入参。使用示例：CREATE TABLE ...
ST_CreateRast
创建一个基于阿里云对象存储服务（OSS）、MinIO和HDFS的raster对象，或者从用户指定一维数组表示的栅格对象生成raster对象。语法 raster ST_CreateRast(cstring url);raster ST_CreateRast(cstring url,cstring storageOption);raster ST_...
do-while节点最佳实践
二维数组的示例值为：+-+|uid|region|age_range|zodiac|+-+|0016359810821|湖北省|30~40岁|巨蟹座|0016359814159|未知|30~40岁|巨蟹座|+-+do-while节点的内部节点通过变量来获取并打印当前循环参数、偏移量、上游赋值节点输入的参数值等。...
ST_CreateRast
创建一个基于阿里云对象存储服务（OSS）、MinIO和HDFS的raster对象，或者从用户指定一维数组表示的栅格对象生成raster对象。语法 raster ST_CreateRast(cstring url);raster ST_CreateRast(cstring url,cstring storageOption);raster ST_...
数组函数和运算符
示例 提取二维数组中索引相同的元素组成一个新的二维数组，例如数组[0,1,2,3]、[10,19,18,17]、[9,8,7]中的0、10、9的索引都为1，则组成数组[0.0,10.0,9.0]。查询和分析语句*|SELECT array_transpose(array[array[0,1,2,3],array[10,19,18,...
- 产品推荐
- 这些文档可能帮助您