DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
create_external_store
调用CLI命令关联外部数据源。当前支持关联RDS MySQL、OSS、本地CSV文件作为外部数据源。注意事项 说明 在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志...
规则概述
自定义关联数据 关联数据将一些具有相同或类似属性的资源划分到某一个组内，方便您在自定义规则时批量设置这些资源。数据库审计系统支持配置IP组、数据库账号组、应用用户组、时间组和对象组以及人员组六种类型的关联数据。
COLLECT_LIST
返回结果如下：+-+|_c0|+-+|ADAMS,ALLEN,BLAKE,CLARK,FORD,JACCKA,JAMES,JONES,KING,MARTIN,MILLER,SCOTT,SMITH,TEBAGE,TURNER,WARD,WELAN|+-+COLLECT_LIST函数可以用来将分组内的所有数据聚合成一个Array，部分场景的COLLECT_LIST可以用...
API概览
AppendInstancesToPrometheusGlobalView 新增Prometheus实例数据源 增加ARMS Prometheus监控聚合实例中的数据源，将数据源添加到Prometheus聚合实例。AddPrometheusInstance 创建RemoteWrite类型的Prometheus实例 创建RemoteWrite类型...
03配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量，本文介绍如何配置逻辑表字段，关联标准字段。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已创建数据元...
API概览
AppendInstancesToPrometheusGlobalView 新增Prometheus实例数据源 增加ARMS Prometheus监控聚合实例中的数据源，将数据源添加到Prometheus聚合实例。AddPrometheusInstance 创建RemoteWrite类型的Prometheus实例 创建RemoteWrite类型...
聚合优化和执行
总的来说，大部分场景做聚合的时候都倾向于选择HashAgg，只有以下场景下才适合选择SortAgg做聚合：数据比较多，内存严重不足。聚合算子的输入已经按照Group By列做好排序，这样做SortAgg就不需要额外排序，执行效率会更高。当数据有严重...
账号相关操作
当黑屏设置的权限和云数据库 OceanBase 控制台设置不能完全重合时，鼠标悬停到“关联数据库”列时会展示“自定义”及通过黑屏设置的具体权限。Oracle 租户账号：您可查看 账号名称、账号类型、可访问的其它账号对象、登录连接串（此处为私...
业务分类
本文为您介绍如何创建业务分类并关联数据域及管理数据集市。新建业务分类 进入智能数据建模页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 数据建模 页面的...
获取及提交数据
本文介绍如何获取、修改、提交标注及关联数据。前置条件 在开始对子场景数据进行标注前，需要先将必要的数据进行获取，数据的逻辑关联如下如示：涉及的相关接口可具体参见：【分页查询项目列表】、【分页查看场景列表】、【分页查看子场景...
通过Java SDK上报监控数据（推荐）
聚合周期为60秒或300秒。安装Java SDK 通过Maven安装Java SDK，需要添加的依赖如下：<dependency><groupId>com.aliyun.openservices</groupId> <artifactId>aliyun-cms</artifactId> <version>0.2.4</version> </dependency>代码示例 通过Java...
项目
重要 请勿在物联网平台删除该设备分组，否则，会同步删除项目中已关联的设备，并导致关联数据异常，影响正常业务。请谨慎操作。创建项目 普通项目 登录 物联网应用开发控制台，在页面左上角选择对应实例后，在左侧导航栏单击 项目管理。在 ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
虚拟关联
一、组件说明 虚拟关联是一种联邦学习组件，它允许在不共享原始数据的情况下，多个参与方共同训练模型。虚拟关联可以保护每个参与方的数据隐私，且在联邦学习场景下将...选择保留字段 用户选择关联数据需要后续使用的列，其余数据列将剔除。
查看崩溃/卡顿/异常数据
本文介绍崩溃分析在指定应用下，可查看 崩溃、卡顿、异常 类型的明细数据，及查看所选类型下的聚合数据。名词解释 聚合数据为按照1分钟、5分钟、1小时、1天的维度展示某一时间段内数据。如聚合时间为1天，以1天为维度，展示最近7天的数据。...
实例选型和集群规划
如果OLAP的需求偏多，有批处理ETL场景，其数据一般较少被更新（UPDATE/DELETE），数据为批量入库，同时查询以少量列的全表数据聚合关联为主，需要经常对数据进行统计时，建议采用列存储；需要比较高的压缩比时，也可以选择列存。列存储支持...
SELECT
Group Aggregation Joins 关联两张表进行数据关联查询。Joins ORDER BY 将返回结果按照指定条件排序。ORDER BY clause LIMIT 限制返回结果的行数。LIMIT clause TOP-N 限制返回前N个最大/最小的结果。Top-N 去重 从数据流中去除重复的行...
配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量。本文介绍如何配置逻辑表关联标准字段。前提条件 已新建数据元、指标、维度以及度量等，具体操作，请参见 新建数据元、新建指标、新建...
配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量。本文介绍如何配置逻辑表关联标准字段。前提条件 已新建数据元、指标、维度以及度量等，具体操作，请参见 新建数据元、新建指标、新建...
Tair扩展数据结构概览
云数据库 Redis 版 与开源Redis相同，支持String、List、Hash、Set、Sorted Set、Stream等数据类型，能够满足大部分场景下的开发需求，但无法直接满足一些复杂场景的业务需求，需要通过开发大量代码、使用Lua脚本等复杂的方式实现。...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
关联信息管理
以下调用示例中lyjClient的初始化见：初始化 获取场景的关联数据/场景ID String sceneId="sdjhuseiuiuew*；GetConnDataRequest request=new GetConnDataRequest();request.setSceneId(sceneId);sdk调用 GetConnDataResponse connData=...
数据加工
本文为您介绍数据合并、清洗加工、聚合、转置、关联等数据加工操作。前提条件 已完成数据输入的配置，请参见 输入数据。合并 合并用于将两张表合并为一张表，合并的数据在行上扩展。合并节点用于将数据输入1节点和数据输入2节点中，名称...
优化聚合与排序
基本概念 聚合操作（Aggregate，简称Agg）语义为按照 GROUP BY 指定列对输入数据进行聚合的计算，或者不分组、对所有数据进行聚合的计算。PolarDB-X 1.0 支持如下聚合函数：COUNT SUM AVG MAX MIN BIT_OR BIT_XOR GROUP_CONCAT 排序操作...
离线UV计算
根据业务逻辑，将基础维度表按照最细粒度基础维度group by，把上一天的所有数据根据最大的查询维度聚合出的uid结果放入RoaringBitmap中，并存放在聚合结果表（每天百万条）。按照查询维度查询聚合结果表，对其中关键的RoaringBitmap字段做 ...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
查看数据字典详情
通过查看数据字典详情信息，可以查看数据字典的编码、值编码和关联数据元等信息。本文介绍如何查看数据字典详情。前提条件 已存在数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录 数据资源平台控制台。在页面左上...
查看数据字典详情
通过查看数据字典详情信息，可以查看数据字典的编码、值编码和关联数据元等信息。本文介绍如何查看数据字典详情。前提条件 已存在数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录企业数据智能平台。在页面左上角...
Quick BI订阅任务发送失败报错“截图超时”
可以提前聚合的数据，都聚合好，生成一张汇总后的表，供Quick BI使用（查询数据时，从单张表查询，和从多张表关联后的表里查询，效率会相差很多）。如果仪表板查询用的表已经是单张表，而且也没法继续汇总，建议您从优化表结构的角度考虑下...
符号聚合层（v4.x版本）
图表样式 符号聚合层是基础平面地图 4.0的子组件，支持独立的样式和数据配置，包括符号的尺寸大小、颜色和标注等，能够以聚合符号的形式表现地理位置上的点的分布密度。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
XpackRelateDB
调用XpackRelateDB关联数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 XpackRelateDB ...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
账号管理
当黑屏设置的权限和 OceanBase 控制台设置不能完全重合时，鼠标悬停到“关联数据库”列时会展示“自定义”及具体的权限。Oracle 租户账号：您可查看 账号名称、账号类型、可访问的其它账号对象、登录连接串（此处为私网登录连接串）、备注 ...
应用场景
支持将MySQL分库分表的数据聚合到同一张表中，提供全局数据分析能力。交互式查询 该场景要求支持实时BI报表和自定义多维查询，响应流畅，交互体验好；任意选择分析维度，无需事先建模和预计算，便于进行探索式分析。该场景可实现：查询速度...
QueryXpackRelateDB
RelateDbType String 是 hbase 要查询可关联数据库类型。spark可以关联hdfs,hbase,mongodb,mysql,polardb_mysql,redis,geomesa bds可以关联hbase,spark,hbaseue HasSingleNode Boolean 否 false 仅对bds查询关联hbase有效。true：会包含单...
引擎指标
instanceId ip 指标聚合：max()采样聚合：avg()elasticsearch-server.allocated_bytes.max node聚合查询大对象分配速度_max 聚合查询分配的内存大小。instanceId ip 指标聚合：max()采样聚合：avg()elasticsearch-server.query_total node...
2024年
01-25 全部地域 计算成本优化 控制台资源观测支持修改指标聚合算法 控制台资源观测为优化页面体验，每个指标至多支持展示60个时间点，因此当时间范围大于1h时，原先图表默认使用区间范围内（所选时间范围的分钟数/60）的平均值聚合数据。...
D100快速入门
在 添加告警任务 面板，设置告警 名称、触发告警的风险级别、关联数据库 和 联系人邮箱。单击 保存。配置成功后，在产生告警时，您的邮箱会收到告警通知。订阅报表。添加订阅报表任务后，数据库审计系统会定期向您指定的邮箱发送订阅的数据...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
- 产品推荐
- 这些文档可能帮助您