采集-IoT/嵌入式日志
嵌入式开发需求主要有以下几点：数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备...
米连科技
业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储引擎，包括数据库类、大数据类、第三方服务等，需要统一规划和管理，避免产生数据孤岛；并且希望进一步提升开发和管理效率。业务量迅猛增长 随着业务和用户规模的...
接入Go程序性能数据
您可以通过 日志服务 全栈可观测中的Golang拉取功能采集Go Pprof性能数据，以及在全栈可观测中分析及可视化展示数据。前提条件 已创建全栈可观测实例。具体操作，请参见 创建实例。使用限制 Logtail为Linux Logtail 1.7及以上版本。工作...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
接入Kubernetes Go程序性能数据
依托于日志采集组件多维度Kubernetes资源选择能力，采集Go程序的性能指标数据时，也支持通过环境变量、Kubernetes Labels、Namespace、Pod名称、容器名称过滤数据。更多信息，请参见 日志采集组件多维度Kubernetes资源选择能力。另外，Go...
资产指纹调查
云安全中心提供资产指纹调查功能，支持采集服务器资产的11种资产指纹数据。本文介绍如何使用资产指纹调查功能采集及查看服务器的资产指纹数据。背景信息 首次使用资产指纹调查功能时，建议您通过设置资产指纹的采集频率，自动采集您所有...
数据库采集器问题
采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法执行完成），导致必须重新采集...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
Logtail发布历史
1.3.2 优化 prometheus抓取插件支持Staleness数据。问题修复 修复时区相关问题，使用系统时间和解析日志时间失败时忽略时区调整选项的问题。修复因inode复用导致的日志重复采集问题。修复Grok插件在解析中文时可能会不工作的问题。修复1.2....
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
统计功能介绍
【关于数据抓取的解释】数据抓取：指一种自动获取网页内容的程序，是搜索引擎的重要组成部分。百度数据抓取：指百度搜索引擎的数据抓取访问您的网站的次数。Google数据抓取：指Google（谷歌）搜索引擎的数据抓取访问您的网站的次数。其他...
使用tcpdump抓包分析网络问题
ECI支持一键开启tcpdump功能，用于捕获和解析网络数据包，帮助您监视和分析网络流量。本文介绍如何开启tcpdump，以便在容器出现网络异常时，抓取网络报文，分析定位问题。背景信息 容器出现网络异常时，您可能需要抓取网络报文来分析定位...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
通过接入中心接入数据
ECS（VPC）环境：为了采集ECS主机上的各类数据，大部分情况下需要通过网络进行数据拉取。因此，建议为每个VPC配置单独的环境。ARMS优先采用网络采集数据的方式，以最大限度减少在ECS上安装的探针数量。云服务环境：对于常规云服务数据采集...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
可观测概述
在Service Mesh中，不同的服务可能需要采集不同的可观测性数据，因此需要支持针对网格代理与网关Pod分别定义采集配置规则，并统一标准化采集配置规则，以便更好地支持云原生应用的可观测性。可观测性在云原生应用中扮演着非常重要的角色，...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
网络抓包
云防火墙提供网络抓包工具，允许您通过特定的IP和端口捕获互联网边界的流量数据包，便于您快速分析数据包内容、诊断网络问题以及审查潜在的攻击行为，进而揭示网络通信的安全隐患。本文介绍如何有效使用该网络抓包工具。限制说明 云防火墙...
iOS SDK概述
日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。版本说明 更多信息，请参见 Aliyun Log iOS Release。示例代码 日志服务iOS SDK提供丰富的示例代码，方便您参考或直接使用。示例代码...
通过接入中心接入数据
名词解释 环境 采集数据的链路根据其特点划分为以下三种环境：容器环境：在一个容器集群中可能存在大量的可采集的数据。因此，我们将一个容器集群对应一个容器环境。对于容器环境，Prometheus实现了自动化的管控链路，可以帮助您更智能地...
Android SDK概述
日志服务Android SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务Android SDK方便地采集Android日志。版本说明 更多信息，请参见 Aliyun Log Android Release。示例代码 日志服务Android SDK提供丰富的示例代码，方便您参考或...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
数据库评估常见问题
请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请重启采集或联系 ADAM 工作人员。画像内容，如何查看兼容度？ADAM 数据库画像主要...
导入云监控数据
如果数据量较大，1分钟无法完成导入，采集延迟将会超过1分钟。单个指标单次采集的数据点总大小 目前支持单个指标单次采集的数据点总大小最大为3 MB。超过该值，本次监控的所有数据点将被丢弃。您可以在 数据处理流量观测 仪表盘中查看数据...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
DescribeDataCollction-DescribeDataCollection
获取指定应用的数据采集详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v4/openapi/app-...
数据采集
AnalyticDB MySQL版 集群内部对多种数据进行了采集，服务于监控告警系统，确保对故障问题可追溯和可排查。时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务...
数据库采集
ADAM提供在线采集和采集器采集两种数据库采集方式，您可以根据能否从云上去访问源库自行选择采集方式。采集方式介绍 在线采集：将源数据库的网络打通，并在源数据库白名单中添加ADAM服务器，确保ADAM服务器可以直接通过在线采集方式进行...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
产品架构
如果源数据库为RDS MySQL，那么数据抓取模块通过Binlog dump协议连接源库。日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到...
DescribeDBClusterMonitor
调用DescribeDBClusterMonitor接口查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
DescribeDBClusterMonitor
调用DescribeDBClusterMonitor接口查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
新建数据采集接口
Quick Audience支持对接阿里云用户行为洞察分析平台 Quick Tracking，从App、小程序、Web页面采集用户行为数据，同步到指定的Quick Audience数据源，以便对这些数据进行进一步的分析运营，同时，支持将采集到的用户行为作为触发自动化营销...
A/B测试报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
使用流程
1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 基于以上操作，可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等，用户可根据数据库评估分析里 对象兼容度 详情和 SQL兼容度 详情，根据指导建议自助...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
元数据采集
支持的数据源及元数据采集方式 数据源类型 元数据采集方式 是否能在数据地图中看到采集器 元数据更新时效性 数据表/字段 分区 数据血缘 MaxCompute 数据开发-绑定数据源 自动启动采集 否 普通项目：实时 外部项目：T+1 国内地域：实时 海外...
设备协议
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
- 产品推荐
- 这些文档可能帮助您