接入Go程序性能数据
最大Body大小 设置采集数据的最大采集Body大小，单位：KB。静态实例数组 添加实例信息，包括如下配置：主机：主机地址。端口：采集端口号。Labels：为实例添加标签。重要 请勿使用service作为标签。设置完成后，日志服务 将自动生成...
接入Kubernetes Go程序性能数据
最大Body大小 设置采集数据的最大采集Body大小，单位：KB。K8s选择器配置 Namespace 输入匹配Namespace名称的正则表达式，用于指定待采集的命名空间。Pod名称 输入匹配Pod名称的正则表达式，用于指定待采集的Pod。容器名称 输入匹配容器...
米连科技
业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储引擎，包括数据库类、大数据类、第三方服务等，需要统一规划和管理，避免产生数据孤岛；并且希望进一步提升开发和管理效率。业务量迅猛增长 随着业务和用户规模的...
采集-IoT/嵌入式日志
嵌入式开发需求主要有以下几点：数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备...
数据库采集器问题
采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法执行完成），导致必须重新采集...
通过接入中心接入数据
名词解释 环境 采集数据的链路根据其特点划分为以下三种环境：容器环境：在一个容器集群中，通常会产生大量的可采集数据。因此，将单个容器集群视作一个独立的容器环境。针对这些环境，Prometheus提供了自动化的监控链路，可以帮助您更智能...
通过接入中心接入数据
名词解释 环境 采集数据的链路根据其特点划分为以下三种环境：容器环境：在一个容器集群中可能存在大量的可采集的数据。因此，我们将一个容器集群对应一个容器环境。对于容器环境，Prometheus实现了自动化的管控链路，可以帮助您更智能地...
iOS SDK概述
采集崩溃数据、网络质量分析数据和Trace数据时必须要接入。OT协议库 OT OTel核心实现库。OT协议扩展库 OTSwift OTel Swift扩展库。采集崩溃数据 CrashReporter 崩溃数据自动采集库。更多信息，请参见 移动运维监控。采集卡顿数据 ...
Android SDK概述
采集崩溃数据、网络质量分析数据和Trace数据时必须要接入。OT协议库 sls-android-ot OTel核心实现库。OT协议扩展库 sls-android-ot-ktx OTel Kotlin扩展库，用于支持协程等特性。采集崩溃数据 sls-android-crashreporter 崩溃数据自动采集...
导入云监控数据
如果数据量较大，1分钟无法完成导入，采集延迟将会超过1分钟。单个指标单次采集的数据点总大小 目前支持单个指标单次采集的数据点总大小最大为3 MB。超过该值，本次监控的所有数据点将被丢弃。您可以在 数据处理流量观测 仪表盘中查看数据...
日志同步分析概述
针对这些数据，可以根据业务的需求和环境，选择对应的方案采集数据并传输到Elasticsearch服务中进行查询分析。本文对日志同步分析的方案进行了汇总。相关文档 方案描述 通过Filebeat采集Apache日志数据 典型的ELK日志采集模式。使用阿里云...
服务器数据采集方案概述
相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和Kibana开发工具四种方法，您可以根据需求和环境，选择合适的方法或工具来采集数据。通过Filebeat采集Apache日志数据 您可以使用Filebeat采集...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
CDH Hive数据抽样采集器
运行：运行采集器，根据目标采集器的配置信息采集数据。运行后，识别出的敏感字段会展示在数据保护伞页面，当您在数据保护伞中配置脱敏规则后，命中的敏感字段在数据地图中预览时将会被脱敏。停止：停止运行中的采集器。后续步骤 CDH Hive...
入门概述
数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与文件。参见以下文档，快速使用Filebeat。通过Filebeat采集Apache日志数据 Metricbeat 轻量型指标采集器，输送各种系统和服务统计数据。参见以下文档，快速使用Metricbeat。...
阿里云Elasticsearch数据采集解决方案
阿里云Logstash作为服务器端的数据处理管道，提供了100%兼容开源的Logstash功能，能够动态地从多个来源采集数据、转换数据，并且将数据存储到所选择的位置。通过输入、过滤和输出插件，Logstash可以对任何类型的事件进行加工和转换。...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
最佳实践
从OSS获取CSV文件进行数据富化 从RDS MySQL数据库获取数据进行数据富化 使用RDS内网地址访问RDS MySQL数据库 使用资源函数增量获取数据 使用e_dict_map、e_search_dict_map函数进行数据富化 从Hologres数据库获取数据进行富化 构建字典与...
通过Filebeat采集Apache日志数据
当您需要查看并分析Apache日志数据时，可以使用Filebeat采集日志数据，并通过阿里云Logstash过滤采集后的日志数据，最终传输到Elasticsearch中进行分析。本文介绍如何通过Filebeat采集Apache日志数据。操作流程 步骤一：准备工作 步骤二：...
数据库评估常见问题
ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请重启采集或联系 ADAM 工作人员。画像内容，如何查看兼容度？ADAM 数据库画像主要内容是围绕着源 Oracle 信息，如果想查看目标数据库兼容性，请使用数据库画像创建数据库评估项目...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是智能众包
数据清洗 对非结构化数据进行清洗，或对算法输出结果进行校验、评分。数据分类：可支持对文本或图片的情感色彩、表述目的、语言内容做分类打标，主要应用场景包括评论内容中的垃圾广告监测、品牌的负面舆情监测。相关性评测：可支持多张...
采集Beats和Logstash数据源
如果要通过Logstash采集数据，请参见 Logstash-Lumberjack-Output。如果要通过Beats系列软件采集数据，请参见 Beats-Lumberjack-Output。本文以使用PacketBeat软件采集本地网络数据包，并使用Logtail Lumberjack插件上传到日志服务为例，...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
ADAM概览
数据库评估 提供目标库选型建议，对迁移工作量和成本进行预估。更多信息，请参见 数据库评估概览。源库画像分析:对数据库采集器采集到的源库数据进行多维度评估分析，包括源库的性能、容量、特性、外部依赖、对象详情和全景搜索。其中全景...
常见问题
如何采集企业内网服务器日志 如何排查容器日志采集异常 查询本地采集状态 如何在日志样例中设置不可见字符 如何查看Logtail采集错误信息 日志服务采集数据常见的错误类型 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则...
概述
工作机制 日志服务基于Telegraf开发的监控模板，支持将Telegraf采集的监控数据（MySQL监控数据、Redis监控数据、Elasticsearch监控数据等）通过InfluxDB协议写入Logtail，Logtail再将监控数据上传到日志服务MetricStore中。针对常用插件，...
实时数据采集
本文为您介绍如何使用智能制造平台AICS实时数据采集模块。创建通道 登录 工业数据中台IGate。在通道管理页面，单击右上角 新增通道 按钮。通道是测点数据的来源，如果不使用IGate主动采集则不需要添加通道，可使用默认提供的平台标准通道，...
Quick Tracking基本概念
为了能够快速上手Quick Tracking，建议先了解和学习下采集SDK和流量分析产品的基本概念，这些基本概念会贯穿数据采集到数据分析的全流程。行为采集 在行为采集中，有如下四个基本概念需要了解：系统事件 系统事件是指由采集SDK发出，用来...
SQL周期性采集
s（仅Oracle 12c需要提供此参数）：采集数据库实例名。c（必选）：cron表达式，用来指定采集的周期性。格式为：秒分时 日月周[年]。周期性采集会根据cron表达式配置的周期持续进行，为了帮助您理解，下面介绍一些常用的cron表达式示例。...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
元数据采集的数据源有白名单访问控制时需要配置的白...
如果目标数据库未开启白名单访问控制，则DataWorks可以正常使用数据地图采集数据库的元数据；如果数据库开启了白名单访问控制，则需要进行下一步的添加白名单操作。数据库添加白名单。如果您需要进行元数据采集的数据库已开启白名单访问...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
- 产品推荐
- 这些文档可能帮助您