计费说明
购买示例 举例：某公司有1款应用（年总事件量约为1亿条、性能数据暂无具体概念）需要做用户行为数据采集与分析和性能监控的功能，需要使用SAAS服务，由于自己对埋点、指标体系搭建理解不深，需要咨询服务和按年购买产品，整体的价格如下 ...
基于GitHub公开事件数据集的离线实时一体化实践
阿里云在此方向上进行了诸多方案设计，推出了化繁为简的实时离线一体化数仓，通过大数据计算服务MaxCompute和实时数仓Hologres分别对应上述的离线与实时场景，同时匹配Flink的实时加工能力，共同构成阿里云一体化数仓的核心引擎组件。...
采集-IoT/嵌入式日志
数据实时分析：设备产生数据如何与实时计算、大数据仓库对接，构建用户画像？IoT领域面临的主要挑战 思考以上问题的解决方案，我们发现在传统软件领域那一套手段面临IoT领域基本全部失效，主要挑战来自于IoT设备这些特点：设备数目多：在...
应用场景
数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括Metric、Event、BinLog、TextLog、Click等）。方案优势：使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。
快速体验
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
配置说明
存储元数据采集过程会产生中间数据，数据大小与FSImage成正比。collect.storage.max.depth 6 高级配置。存储元数据遍历目录层深，包含从'/'开始的目录层级。说明 不建议您将该参数值修改的过大，过大可能会造成分析时间过长、中间存储数据...
开启数据采集功能
CloudLens for EBS 支持手动或自动化开启数据采集功能。手动开启采集功能针对单个或当前所有的云盘，自动化开启采集功能支持设置采集条件，并自动采集符合条件的云盘（包括未来创建的）的秒级监控数据。本文介绍开启数据采集功能的操作步骤...
产品架构
日志服务 数据类型 日志服务为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。更多信息，请参见 日志（Log）、时序数据（Metric）、链路数据（Trace）。功能特性 数据采集：日志服务支持通过Logtail、SDK、协议等多种方式...
云产品日志审计
中心化存储：将采集到的日志存储到某个地域的中心化Project中，方便后续查询分析、可视化与告警、二次开发等。支持丰富的审计功能 继承日志服务现有的所有功能，包括查询分析、加工、报表、告警、导出等功能，支持审计场景下中心化的审计等...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
图扑案例
新技术在创造新机遇带动产业升级的同时也带来了新的技术挑战，更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地，企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点。...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
元数据
采集范围与采集方式 采集范围与采集方式 安全协同管控模式 稳定变更与自由操作的管控模式 元数据采集范围 采集并存储数据库实例的所有元数据，元数据详情信息请参见 采集的元数据列表。仅会采集并存储库级别信息，其余元数据将在登录后进行...
日志审计服务概述
中心化存储：将采集到的日志存储到某个地域的中心化Project中，方便后续查询分析、可视化与告警、二次开发等。支持丰富的审计功能 继承日志服务现有的所有功能，包括查询分析、加工、报表、告警、导出等功能，支持审计场景下中心化的审计等...
什么是日志服务
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。基本概念 在使用日志服务前，您需要了解以下基本概念。术语 说明 项目（Project）项目是日志服务...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
云原生可观测服务内容说明
包括 CI/CD pipeline 构建数据采集、接入、大盘绘制，告警设计与配置等。弹性架构能力设计与落地。包括基于 ECS 部署架构以及基于 ACK 部署架构的应用层无状态弹性架构能力的设计与落地，以及基于阿里云云原生数据库serverless 能力的数据...
什么是Quick Audience
数据采集：支持App端用户行为数据采集和自动加工处理，加工成行为数据集可实现人群再运营。社交互动：提供多品牌多账号的微信公众号的运营能力，对特定的粉丝群组进行个性化活动触达，完成企业私域流量运营。复购预测：基于用户既往购买...
管理问题数据
问题数据采集结果将存储与MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按表配置数据质量监控规则，添加模板规则时，在部分字段级规则配置入口，开启问题数据保留配置。开启问题数据保留配置...
使用前须知
阿里云日志服务与全站加速DCDN联合推出日志功能，支持近实时采集DCDN实时日志。日志服务提供实时查询、可视化分析、告警、投递、加工等一站式服务。本文介绍DCDN实时日志相关的功能介绍、资产详情、费用说明及使用限制。功能介绍 您的业务...
什么是威胁分析与响应
功能特性 标准化数据采集 采集跨云平台、跨产品、跨账号的安全告警日志、网络日志、系统日志、应用日志等，对数据进行标准化、上下文增强。多维度威胁检测 基于多源数据关联分析、AI图计算推理、以及实时更新的威胁情报等威胁发现手段，补...
DataWorks产品安全能力介绍
备份与恢复：云原生底层存储天然支持三份副本备份，同时，大数据计算服务MaxCompute提供数据备份与恢复功能，您可对保留周期内的数据进行快速恢复，避免因错误操作丢失数据。安全销毁：阿里云上落盘的数据一经删除，永久不可恢复；同时，...
应用场景
网页上的数据批量采集 无论是何种网页数据，通过阿里云RPA都能轻松的完成数据采集。您可以随时来调整采集规则，无需担心在分析需求激增时带来的资源不足问题。重复繁琐的工作自动化完成 某些工作，如电商活动报名，可能需要准备成百上千个...
数据库评估分析
数据库兼容评估可以帮助您评估目标库兼容性、规格、迁移风险，全面了解数据库上云的可行性以及改造工作量。新建目标库评估项目 说明 您可以在 目标库 选型建议 页签中，直接单击 下一步新建目标库评估，创建新的评估项目，或通过下面的步骤...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
可观测概述
在Service Mesh中实现可观测性，涉及了日志、监控指标、链路追踪这些可观测性数据的生成规则配置和采集配置，以及如何将这些可观测数据采集到云托管服务或者自建服务中。同时，还需要考虑如何支持针对网格代理与网关Pod分别定义采集配置，...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
什么是云迁移中心
大数据上云与数据中台建设 针对于企业用户云下的大数据迁移上云来构建云上数仓和数据中台，云迁移中心提供了辅助用户快速新建大量数据迁移任务的工具，自动化完成云下数据源的探查和模型分析，并且批量配置数据迁移上云的任务，一站式管理...
概述
阿里云日志服务具有丰富的安全防护能力，支持服务器端加密、细粒度权限管控、详细服务日志等特性，同时提供日志审计功能，针对主流云产品提供多账号下实时自动化、中心化采集云产品日志并实现审计。日志服务为您提供丰富的数据洞察能力，...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
DescribeDataCollction-DescribeDataCollection
获取指定应用的数据采集详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v4/openapi/app-...
新功能发布记录
全部地域 数据采集概述 2023年12月 功能名称 功能描述 支持地域 相关文档 企业云监控日志 采集企业云监控的日志。全部地域 开通企业云监控日志转储功能 Alibaba CloudLens Copilot for OSS 基于日志服务的CloudLens for OSS功能为您提供...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
业务运营报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
数据地图概述
元数据采集与接入 MaxCompute数据 如果您使用了MaxCompute引擎，您可以直接在数据地图进行MaxCompute表元数据管理的相关操作。其他类型元数据 除MaxCompute外，您还可以通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理...
环境分类说明
容器环境 考虑到容器集群可能涉及大量数据采集，通常是将单个容器集群定位为一个监控环境。针对此类环境，为 ACK、ACK Serverless集群 以及 ACS 等阿里云容器服务实施了一套自动化管理流程，助力您轻松部署采集探针并处理数据。针对您自建...
- 产品推荐
- 这些文档可能帮助您