Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
一键建仓
背景信息 传统创建数据仓库的方法为：通过离线脚本将数据周期性地从源数据库采集至数据仓库，再进行ETL开发，这种方法的时间性较差，通常需要T+1天才能看到数据分析报表，且技术成本较高。数据管理DMS提供的一键建仓功能结合DTS同步链路和...
DataWorks产品安全能力介绍
DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、风险事件响应等多个方面，系统性构建了一套完整...
通过Metricbeat收集系统数据及Nginx服务数据
本文介绍如何通过阿里云Metricbeat采集器收集系统数据（CPU使用率、内存、磁盘IO和网络IO统计数据）和Nginx服务数据，并生成可视化图表。前提条件 您已完成以下操作：创建阿里云Elasticsearch（简称ES）实例。详情请参见 创建阿里云...
应用场景
通过采集程序将业务数据、日志和埋点数据等投递到EMR Kafka，利用Flink的实时计算功能将数据写入不同的分析系统，例如EMR StarRocks、EMR Hbase和阿里云的实时数仓Hologres，以提供实时分析、点查调用和BI报表分析等操作。数据服务场景 ...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到 PolarDB PostgreSQL版（兼容...
应用采集
ADAM可以对Java JDK1.6及以上版本的应用提供采集功能，帮助客户评估分析需要改造的功能点，对于非Java应用暂不支持采集评估。应用采集概述 应用采集客户端包含两个模块：应用动态采集Agent。收集运行期应用请求数据库的基本信息，比如请求...
Elastic Agent采集NetFlow日志数据
NetFlow是一种网络流量分析技术，可以用于监测、分析和诊断网络流量，可以帮助管理员实现对网络流量的实时监控和分析，并提高网络性能和安全性。本文通过Kibana中的Fleet Server管理Elastic Agent采集的NetFlow数据，并将NetFlow数据输出到...
存储费用
MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...
功能特性
订正任务 数据安全基线 安全基线核查 基线核查以GB/T 37988-2019《信息安全技术数据安全能力成熟度模型》为依据，针对云上数据资产的应用环境和数据类型（结构化和非结构化数据），提供7类基线检查策略以及40+具体的检查项；仅支持检测已接...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
创建集群
拥有分布式、高吞吐量和高可扩展性的消息系统Kafka和基于Apache Flink官方产品Ververica提供的Flink商业内核两大组件，专注于解决实时计算端到端的各类问题，广泛应用于实时数据ETL和日志采集分析等场景，您也可以单独使用其中任一组件。...
调用链采样配置最佳实践
对于绝大多数分布式系统，不是每一条调用链都值得被可观测平台记录，因为其中包含大量重复、低关注度信息。调整采样是目前解决这类问题最高效且主流的方式，但具体配置什么样的采样策略，能够在可控的资源开销和费用成本内，最大程度保证错...
基于GitHub公开事件数据集的离线实时一体化实践
实时离线一体化是指将实时数据和离线数据在同一平台上管理和处理的技术。它能够实现实时数据处理和离线数据分析的无缝衔接，从而提高数据分析效率和精度。其优势在于：提高数据处理效率：将实时数据和离线数据整合在同一平台上，大大提高了...
Logtail
文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据完整性。出现以下情况，会关闭文件。文件超过5分钟未被修改。发生轮转且采集完毕。Logtail采集配置发生变更。如果无论文件是否采集完成或仍有...
间隔分析
分类名称 分类描述 具体内容 系统属性 该属性作用于所有事件，并且由SDK采集 系统预置的属性，例如SDK的版本 全局属性 该属性作用于所有事件，由用户上报，例如饿了么的地域 用户在采集管理平台的全局属性中作录入的属性 事件属性 该属性...
点热力层（v3.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
分析业务过程
您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括技术、数据、系统环境等。在分析企业的工作职责范围（部门）后，您也可以借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档以及业务运行（开发...
分析业务过程
您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括技术、数据、系统环境等。在分析企业的工作职责范围（部门）后，您也可以借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档以及业务运行（开发...
功能特性
BI工具对接 数据传输迁移 MaxCompute提供多种渠道，以便从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端...
分析业务过程
您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完企业的工作职责范围（部门）后，借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档和业务运行（开发、设计、变更等）...
客户案例
张炜宇 阿里妈妈基础共享技术开发平台总监“OceanBase 很好的满足了我们广告业务对于存储系统扩展性，并行计算，统计计算，高吞吐，低时延，资源隔离等大数据处理的需求，在报表业务的演进中帮助我们建立了一套业务和平台分离，面向效果...
可观测概述
在Service Mesh中，不同的服务可能需要采集不同的可观测性数据，因此需要支持针对网格代理与网关Pod分别定义采集配置规则，并统一标准化采集配置规则，以便更好地支持云原生应用的可观测性。可观测性在云原生应用中扮演着非常重要的角色，...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
产品和业务限制
限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
集群管理常见问题
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
新功能发布记录
全部地域 开通企业云监控日志转储功能 Alibaba CloudLens Copilot for OSS 基于日志服务的CloudLens for OSS功能为您提供智能可观测数据分析服务，利用通义千问的大语言模型的能力，为您提供云产品可观测数据分析智能助手。CloudLens for ...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
MaxCompute近实时增全量一体化架构介绍
数据库整库 实时同步写入 当前数据库系统与大数据处理引擎都有各自擅长的数据处理场景，面对一些复杂的业务需求，往往需要同时运用OLTP（联机事务处理）、OLAP（联机分析处理）及离线分析引擎来对数据进行全面且深入的分析与处理，因此数据...
自动SQL限流
背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统变得越来越稳定，运维工作也越来越轻松，版本升级、实例迁移等都可以自动完成，上层业务不会有太大的感知。即使硬件设备或者网络出现故障，巡检系统也可以快速迁移、及时重启，...
点热力层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
DataWorks on EMR快速入门
系统会为您选择默认的 DLF数据目录，如果您不同集群期望使用不同的数据目录，可以单击 创建数据目录。说明 选择该方式时，需要开通阿里云数据湖构建服务。集群存储根路径 1366993922*当您在可选服务区域选择了OSS-HDFS服务时，需要配置该...
数据聚合分析
AnalyticDB的智能分析系统对采集的数据进行了多种分析，从而洞察实例运行状态。实例查询行为画像分析 对单独实例的查询行为进行了统计分析，主要统计指标包括：用户在某段时间内的查询次数；用户查询是否包含join、agg或者sort等；用户第一...
MaxCompute表数据
前提条件 已绑定MaxCompute引擎至当前工作空间，绑定后DataWorks会面向引擎自动采集元数据，系统将一次性全量采集存量的元数据，同时每天采集增量的元数据，并汇集至数据地图。由系统自动运维元数据采集器，您无需额外管理元数据采集器。...
Serverless模式
AnalyticDB PostgreSQL版 全新推出Serverless模式，利用云基础设施提供的资源池化和海量存储能力，结合传统MPP数据库技术、离在线一体化技术和Serverless技术，实现了计算存储分离、秒级扩缩容和多实例数据实时共享的特性。简介 AnalyticDB...
iOS SDK概述
日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。版本说明 更多信息，请参见 Aliyun Log iOS Release。示例代码 日志服务iOS SDK提供丰富的示例代码，方便您参考或直接使用。示例代码...
- 产品推荐
- 这些文档可能帮助您