数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
东软案例
建设效果 目前系统已经在阿里云端支撑某行业车企存储、检索从全球客户终端采集的用户数字足迹和客户体验数据，应对日活量上万客户访问监控数据采集，日均实时监控指标数据采集1.2亿元组，节约数据存储和系统维护成本达4成，建设效果如下图...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
通过环境变量方式采集日志
背景信息 阿里云日志服务SLS（Log Service）是针对日志数据的一站式服务，您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。更多信息，请参见 日志服务简介。前提条件 已开通日志服务。登录 日志服务控制台 时，如果...
通过环境变量方式采集日志
背景信息 阿里云日志服务SLS（Log Service）是针对日志数据的一站式服务，您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。更多信息，请参见 日志服务简介。前提条件 已创建 ACK Serverless集群。具体操作，请参见 ...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
SQL审计（数据库审计）
说明 系统是从数据库内采集csvlog文件内容，然后保存到日志服务器后提供给您查看，如果需要调整数据库内csvlog文件的最大保留个数，您可以调整实例参数 rds_max_log_files。关闭SQL审计 为节约成本，您可以在不需要审计SQL时关闭SQL审计...
深度检测
数据库自治服务DAS 为 RDS SQL Server 提供深度检测功能，可以检测数据重要指标是否异常...单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。
EMR Doctor常见问题
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
统计信息
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 未更新统计信息 区域，以图表形式查看未更新的统计信息详情。单击 自定义查询，设置...
最佳实践概览
查询分析RocketMQ客户端日志 通过Elasticsearch和rsbeat实时分析Redis slowlog 服务器数据采集 服务器数据采集方案概述 阿里云Elasticsearch数据采集解决方案 通过自建Metricbeat收集系统指标信息 使用SkyWalking和Elasticsearch实现全链路...
空间管理
重新采集 如果您觉得 数据更新时间 过久，您也可以单击 重新采集 按钮并确认，让系统使用异步方式重新采集数据。说明 使用异步方式重新采集数据时，您要等待几分钟后刷新页面查看最新结果。保存PDF 如果您需要将页面保存到本地，请单击 ...
查看日志
系统是从数据库内采集csvlog文件内容，然后保存到日志服务器后提供给您查看，如果需要调整数据库内csvlog文件的最大保留个数，您可以调整实例参数 rds_max_log_files。保留的csvlog文件个数越多，可以查询的时间越长，但是占用空间也会越大...
索引使用率
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 索引使用图表信息 区域，查看索引相关指标的变化趋势。在 索引使用信息表 区域，查看...
Logtail常见问题
分类 文档链接 基本概念说明 Logtail基本问题 日志采集Agent对比 心跳问题 Logtail机器组问题排查思路（主机场景）采集问题 通用场景 查询本地采集状态 如何查看Logtail采集错误信息 Logtail采集日志失败的排查思路 日志服务采集数据常见的...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
接入Kubernetes Go程序性能数据
依托于日志采集组件多维度Kubernetes资源选择能力，采集Go程序的性能指标数据时，也支持通过环境变量、Kubernetes Labels、Namespace、Pod名称、容器名称过滤数据。更多信息，请参见 日志采集组件多维度Kubernetes资源选择能力。另外，Go...
索引缺失
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 索引缺失图表信息 区域，以图表形式查看索引缺失的相关指标变化趋势。在 索引缺失详情...
基本概念
[回到顶部]C 采集规则 关于在自定义监控任务中如何从数据源实例采集数据的规则。自定义监控任务中必须定义采集规则。[回到顶部]J 交互大盘 用户在ARMS中基于数据集自定义的一组交互式监控数据报表。交互大盘可通过不同类型的图表展示多个...
如何选取统计信息自动采集策略
本文介绍了统计信息采集的三种策略和采集建议。SQL查询执行计划的好坏对数据库性能有重要的影响，为了给优化器CBO提供准确的统计信息用于生成更优的执行计划，PolarDB-X 会在后台发起统计信息采集任务。统计信息采集说明 PolarDB-X 包括...
DMS默认屏蔽的实例系统库
数据管理DMS 中管控模式为安全协同模式的实例，在采集元数据时会默认屏蔽实例的系统库。本文列举不同数据库类型默认屏蔽的实例系统库。背景信息 数据管理DMS中录入实例后，系统将自动采集实例中数据库的元数据（字典）信息。为了保护系统库...
Prometheus Agent采集量与内存和CPU的关系
但为了采集过程正常运行，建议将CPU和内存各50%的使用率分配给Prometheus Agent采集数据。不同的采集量对应的CPU和内存使用建议如下：50万（Grafana页面显示为500K）的采集量，建议使用1 GB内存和1核CPU。100万的采集量，建议使用2 GB内存...
Prometheus Agent采集量与内存和CPU的关系
但为了采集过程正常运行，建议将CPU和内存各50%的使用率分配给Prometheus Agent采集数据。不同的采集量对应的CPU和内存使用建议如下：50万（Grafana页面显示为500K）的采集量，建议使用1 GB内存和1核CPU。100万的采集量，建议使用2 GB内存...
LogHub（SLS）数据源
LogHub（SLS）数据源为您提供读取和写入LogHub（SLS）双向通道的功能，本文为您介绍DataWorks的LogHub（SLS）数据同步的能力支持情况。使用限制 数据集成离线写LogHub（SLS）时，由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起...
生成和采集ASM网关访问日志
ASM网关的访问日志配置主要分为生成和采集。生成指网关打印日志到标准输出，您可以自定义在访问日志中打印哪些字段；采集指将网关打印的日志采集到阿里云日志服务，阿里云日志服务可以提供日志的存储、分析以及展示等功能。生成和采集是...
生成和采集ASM网关访问日志
ASM网关的访问日志配置主要分为生成和采集。生成指网关打印日志到标准输出，您可以自定义在访问日志中打印哪些字段；采集指将网关打印的日志采集到阿里云日志服务，阿里云日志服务可以提供日志的存储、分析以及展示等功能。生成和采集是...
准备数据
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...
如何查看Logtail采集错误信息
您在使用Logtail采集日志时，可能遇到正则解析失败、文件路径不正确、流量超过Shard服务能力等错误。日志服务控制台提供诊断功能，支持诊断Logtail采集错误。操作步骤 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
Logtail采集详情
采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请参见 Logtail技术分享。监听日志 在服务器上安装Logtail及在日志服务控制台上创建Logtail采集配置后...
采集-通过WebTracking采集日志
开发难度大/成本高：为完成一次数据采集、分析需求，首先需要购买云主机、公网IP、开发数据接收服务器、消息中间件等，并且通过互备保障服务高可用。接下来需要开发服务端并进行测试。使用不易：数据达到服务端后，还需要工程师先清洗结果...
在DMS中自定义屏蔽系统库
背景信息 在实例录入 DMS 后，系统将自动采集实例中数据库的元数据（字典）信息。为保护系统库，同时减少系统库对您的干扰，可自定义屏蔽 DMS 部分系统库（如MySQL的information_schema库）或高敏感业务的数据库。屏蔽后，DMS 将不会采集...
目标库选型建议
阿里云上有很多种数据库，您可能一时无法对迁移的目标库进行选择，目标库选型建议可以帮助您根据现有的数据库画像进行分析，给出迁移到各种目标库的兼容情况分析，目前目标库选型建议以普遍用户最关心的目标库兼容度为参考依据，为您提供...
安装日志采集客户端
日志采集客户端 Logtail 可通过运维脚本批量安装或手动安装。批量安装（推荐）创建指定模板。在 金融分布式架构 控制台页面，选择 运维管理>经典应用服务>日常运维>指令模板，在右侧窗口中单击 创建模板。在 新建指令模板 页面中，填入相应...
采集指定虚拟节点的Metrics
为了采集指定虚拟节点的Metrics数据，ACK在保留原有采集端点<nodeIP>:10250/metrics/cadvisor 的基础上，额外提供指定虚拟节点名称的端点<nodeIP>:10250/metrics/cadvisor?nodeName=。您可以通过修改Prometheus监控配置来采集指定虚拟节点...
采集指定虚拟节点的Metrics
为了采集指定虚拟节点的Metrics数据，ACK在保留原有采集端点<nodeIP>:10250/metrics/cadvisor 的基础上，额外提供指定虚拟节点名称的端点<nodeIP>:10250/metrics/cadvisor?nodeName=。您可以通过修改Prometheus监控配置来采集指定虚拟节点...
- 产品推荐
- 这些文档可能帮助您