产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 Prometheus实例是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控大盘和报警...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 可观测监控 Prometheus 版 是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控...
采集数据
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
产品优势
通过资源组分时弹性和按需弹性，在数据分析和数据处理之间实现计算资源倾斜，提高资源利用率，降低资源成本。湖仓版（3.0）支持体验一体化。通过统一 计费单位、统一元数据和 权限、统一开发语言、统一传输链路，提升开发效率。Serverless ...
水处理行业页面模板
组态编辑器中水处理行业模板的使用介绍。水处理行业模板是组态编辑器中专门为水处理行业设计的页面模板。该模板包含了水处理行业常用的数据展示方式和功能...同时，用户需要了解水处理行业相关的数据采集和处理技术，以便更好地应用该模板。
数据开发概述
Prod 项目支持 规范建模 和 数据处理 功能。数据开发入口 在Dataphin首页，单击顶部菜单栏 研发。在数据 开发 页面，左侧导航栏为您展示数据开发各功能模块的入口按钮。数据开发界面介绍 说明 如果您的Dataphin实例为基础研发版，则不支持 ...
数据脱敏
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
数据开发概述
Prod 项目支持 规范建模 和 数据处理 功能。智能编辑器：Dataphin代码编辑器不仅支持基本的代码高亮、代码补全，还支持智能代码提示、权限校验等功能。助您降低开发成本，更快的交付可靠的代码和提升编码体验。编辑器使用说明详情请参见 ...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
基于GitHub公开事件数据集的离线实时一体化实践
降低系统复杂度：减少数据管理和处理的复杂度，使数据管理和处理更加简单和高效。提高数据应用价值：更加充分地发挥数据的应用价值，为企业提供更好的决策支持。阿里云在此方向上进行了诸多方案设计，推出了化繁为简的实时离线一体化数仓，...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
可视分析创作间和传统BI软件差异比较
对比项 可视分析创作间 传统BI软件 数据源 数据连接类型：支持Excel上传，支持数据库连接 数据连接类型：支持Excel上传，支持数据库连接 支持临时业务数据，也支持建模后的数据内容 通常需要前期IT人员完成数据建模 数据采集和准备 零代码...
SDK概述
针对每一端，开发者都需将Quick Tracking的SDK集成在工程中，才能对客户端数据进行采集和传递。SDK采集能力可以简单分为两类：基础采集和高级采集。基础采集是指客户端用户的启动日志和退出日志采集，因为初始化Quick Tracking SDK后，就...
Transaction Table2.0概述
增全量数据存储和处理一体化架构 上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，...
基本概念
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
基本概念
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
快速接入
产品准备-创建组织和应用 在使用Quick Tracking产品时，首先需要创建一个组织和应用，后续的SDK集成、用户行为日志采集和数据分析都需在此基础之上。组织管理 应用管理 角色授权 埋点方案录入 将业务准备中梳理好的埋点方案内容录入到Quick...
基本概念
DBGateway：DBGateway是部署在用户环境中的守护进程，负责数据库性能数据的采集和计算。但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 DBGateway简介。索引：索引是数据库管理系统对数据库表中一个或多...
管理应用和标签
在应用设置页面上，您可以控制是否显示机器名称和采集应用数据，也可以管理应用的自定义标签和删除应用。背景信息 在 可观测链路 OpenTelemetry 版 控制台上，当需要显示应用所部署的机器时，默认情况下显示的是机器的IP地址，但是您也可以...
管理应用和标签
在应用设置页面上，您可以控制是否显示机器名称和采集应用数据，也可以管理应用的自定义标签和删除应用。背景信息 在 可观测链路 OpenTelemetry 版 控制台上，当需要显示应用所部属的机器时，默认情况下显示的是机器的IP地址，但是您也可以...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
环境分类说明
容器环境 考虑到容器集群可能涉及大量数据采集，通常是将单个容器集群定位为一个监控环境。针对此类环境，为 ACK、ACK Serverless集群 以及 ACS 等阿里云容器服务实施了一套自动化管理流程，助力您轻松部署采集探针并处理数据。针对您自建...
环境分类说明
容器环境 考虑到容器集群可能涉及大量数据采集，通常是将单个容器集群定位为一个监控环境。针对此类环境，为 ACK、ACK Serverless集群 以及 ACS 等阿里云容器服务实施了一套自动化管理流程，助力您轻松部署采集探针并处理数据。针对您自建...
接入Redis监控数据
本文介绍如何通过日志服务来完成Redis监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接Redis服务器。已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 只有Linux Logtail 0....
接入Clickhouse监控数据
本文介绍如何通过日志服务来完成Clickhouse监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接ClickHouse服务器。已创建Project和MetricStore。具体操作，请参见 创建项目Project 和 创建MetricStore。使用限制 只有...
接入MongoDB监控数据
本文介绍如何通过日志服务来完成MongoDB监控数据的采集和可视化。前提条件 已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 只有Linux Logtail 0.16.50及以上版本的Logtail支持采集MongoDB监控...
接入MySQL监控数据
本文介绍如何通过日志服务来完成MySQL监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接MySQL服务器。已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 仅支持MySQL 5.5及以上...
接入Elasticsearch监控数据
本文介绍如何通过日志服务来完成Elasticsearch监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接Elasticsearch服务器。已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 只有...
接入Nginx监控数据
本文介绍如何通过日志服务来完成Nginx监控数据的采集和可视化。前提条件 已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。已配置Nginx Status模块。具体操作，请参见 配置Nginx Status模块。使用限制 只有...
产品架构
最后，数据通道服务（LTS）负责引擎之间的数据流转和数据变更的实时捕获，以实现数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等能力。分布式文件系统 LDFS（Lindorm DFS，也称为Lindorm文件引擎）是面向云基础存储设施...
- 产品推荐
- 这些文档可能帮助您