Transaction Table2.0概述
如上图所示，如果使用单一的MaxCompute离线批量处理链路，有些场景需持续将用户分钟级增量数据和全量数据做合并处理和存储，产生冗余的计算和存储成本，也有场景需要将各种复杂的一些链路和处理逻辑转化成T+1的批次处理，极大增加链路复杂...
全景监控
全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题时按照问题的紧急程度，选择告警方式，快速通知相关人员，及时处理问题，保障系统和数据的稳定运行。同时，全景监控提供统一的监控接入标准，全方位对接各种...
功能简介
全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题时按照问题的紧急程度，选择告警方式，快速通知相关人员，及时处理问题，保障系统和数据的稳定运行。同时，全景监控提供统一的监控接入标准，全方位对接各种...
功能简介
全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题时按照问题的紧急程度，选择告警方式，快速通知相关人员，及时处理问题，保障系统和数据的稳定运行。同时，全景监控提供统一的监控接入标准，全方位对接各种...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
概述
说明 PolarDB 集群 一级备份（快照）总大小 是所有一级备份独占的物理空间之和（即上图中①所示），而非逻辑数据大小之和（即上图中②所示），PolarDB 集群的数据与多个一级备份（快照）会复用相同的物理数据块，在计费时只会计算一次。...
数据建模
数据建模支持ER模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置...
功能简介
数据建模支持ER（Entity-Relationship）模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中...
功能简介
数据建模支持ER（Entity-Relationship）模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中...
新功能发布记录
逻辑数仓 数据归档新增归档至 AnalyticDB MySQL版 链路 迭代 定时将大表的数据归档至OSS、Lindorm、AnalyticDB MySQL版 数据库，解决了由于线上数据量增多影响表的查询性能与业务运作的问题。数据归档至AnalyticDB MySQL 3.0 03月 功能名称...
逻辑数仓一键生成报表
系统将基于逻辑数仓的逻辑视图为您创建数据集，数据集与逻辑视图名称一致，数据集创建完成后，页面自动跳转至编辑数据集页面。若系统提示您选择已有组织或自行开通30天的免费试用，则表示 用户不在Quick BI组织中，但当前DMS租户下存在...
MapReduce
Reduce阶段：每个Reduce Worker对数据进行处理时，采用与Combiner相同的逻辑，将Key值（Word值）相同的Count累加，得到输出结果。输出结果数据。说明 由于MaxCompute的所有数据都被存放在表中，因此MaxCompute MapReduce的输入、输出只能是...
适配硬件链路和操作系统
AT模组驱动框架只处理与模组交互的逻辑，您还需适配硬件链路、操作系统接口和模组特性。本文介绍硬件链路和操作系统接口的适配。背景信息 硬件链路和操作系统的适配是开发AT模组驱动的重要组成部分，可助您实现AT模组的设备接入物联网平台...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
数据库分析
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 数据库分析 页面查看数据库分析数据，从而了解数据库的调用详情。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
查看逻辑表和物理表一致性
通过查看逻辑表和物理表一致性能够快速对比逻辑表和物理表的一致性，以便及时更新物理表，保证逻辑模型和物理表的一致性。本文介绍如何查看逻辑表和物理表的一致性。前提条件 已新建逻辑表，具体操作，请参见 通过Excel导入逻辑表、通过云...
查看逻辑表和物理表一致性
通过查看逻辑表和物理表一致性能够快速对比逻辑表和物理表的一致性，以便及时更新物理表，保证逻辑模型和物理表的一致性。本文介绍如何查看逻辑表和物理表的一致性。前提条件 已新建逻辑表，具体操作，请参见 通过Excel导入逻辑表、通过云...
质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
无感集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
逻辑数仓
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
提供服务
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 提供服务 页面了解应用提供的服务详情，包括接口调用、消息队列、定时任务和内部方法的详细信息。前提条件 已将应用数据上报至...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
依赖服务
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 依赖服务 页面了解应用依赖服务的详情，包括外部调用、数据库调用和消息队列的详细信息。前提条件 已将应用数据上报至 可观测...
实现原理
监控的通用逻辑 定义数据源：首先，需要建立元数据基本模型，元数据是监控系统的根基。例如：定义应用、部署实例、机房信息，单元化信息等。在 SOFAStack 场景下，这部分信息需要从 PaaS 侧自动获取。数据采集：通过安装在机器上的 Agent ...
为什么在控制台看不到数据？
使用开源客户端上报数据后，如果遇到控制台或日志中打印了错误日志，或者控制台上没有观察到报错数据，可以根据本文档进行问题排查。控制台没有数据的可能原因：网络无法连通 控制台中上报开关设置有误 SLS数据源上报失败 HTTP上报数据失败...
什么是推荐全链路深度定制开发平台PAI-REC
推荐系统是一个比较复杂的系统化工程，推荐系统分为离线、在线、实时数据链路和工程架构。推荐系统又分为召回、排序、过滤、重排等模块。PAI-REC的推荐模块和链路均依托于阿里云飞天大数据架构，开发者可结合企业技术栈、开发习惯等灵活...
通过一键建仓同步至数仓版
同步链路中断7天后不再保证数据正确性，请及时处理链路中断问题。一键建仓链路不支持修改同步的库表对象，例如不支持手动移除或添加同步表等。应用场景 一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，同时提供了高性...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
通过一键建仓同步至数仓版
同步链路中断7天后不再保证数据正确性，请及时处理链路中断问题。一键建仓链路不支持修改同步的库表对象，例如不支持手动移除或添加同步表等。应用场景 一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，同时提供了高性...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
无感数据集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
数据库分析
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 数据库分析 页面查看数据库分析数据，从而了解数据库的调用详情。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，...
- 产品推荐
- 这些文档可能帮助您