Android应用集成SDK
初始化采集分为两种模式：采集全量数据、采集除需授权字段外的数据（不采集涉及终端设备用户隐私的字段，包括：imei、imsi、simSerial、wifiMac、wifiList、bluetoothMac、androidId）。说明 建议您在终端用户同意App的隐私政策前，采集除...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
DataWorks On Hologres使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
新建数据采集接口
通过 Quick Tracking 使用数据采集服务的流程如下：配置数据采集渠道（App、小程序、Web）接口，并获取AccessKey，具体操作请参见下文。获取 Quick Tracking 的SDK，并使用上一步中获得的AccessKey进行数据采集程序的开发与部署。SDK和程序...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
自建Oracle间迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
自建Oracle迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
自建Oracle迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标集群 PolarDB MySQL版。说明 目标集群 PolarDB ...
新功能发布记录
全部地域 数据采集概述 2023年12月 功能名称 功能描述 支持地域 相关文档 企业云监控日志 采集企业云监控的日志。全部地域 开通企业云监控日志转储功能 Alibaba CloudLens Copilot for OSS 基于日志服务的CloudLens for OSS功能为您提供...
什么是实时日志
功能介绍 您的业务在使用DCDN服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务（简称SLS）进行存储和消费，以便快速监控和定位业务问题。如果您想深入了解日志服务，请参见 什么是...
使用前须知
Logtail文件采集监控 展示待采集文件的相关信息，包括采集文件数、采集机器数、采集文件分布、采集日志量、平均采集延迟、解析失败率、发送次数趋势等图表。Logtail异常监控 展示Logtail的异常情况，包括活跃Logtail数、Logtail重启列表、...
集群管理常见问题
滚动重启机制是指在一个ECS实例重启完成且该实例上的大数据服务全部恢复后，再启动下一个ECS实例。每个节点重启耗时约5分钟。集群创建后如何绑定公网IP？您可以单独申请EIP地址，并绑定到未分配公网IP地址的专有网络VPC类型的实例上，使ECS...
接入无侵入服务观测
Kubernetes数据面监控基于日志服务与龙蜥社区合作共建的无侵入监控能力，您可以直观地分析整个Kubernetes的数据流向与瓶颈问题，轻松应对复杂的云原生环境。前提条件 已创建全栈可观测实例。具体操作，请参见 创建实例。如果是控制台方式接...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
LogHub（SLS）数据源
LogHub（SLS）数据源为您提供读取和写入LogHub（SLS）双向通道的功能，本文为您介绍DataWorks的LogHub（SLS）数据同步的能力支持情况。使用限制 数据集成离线写LogHub（SLS）时，由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起...
售卖清单和计费说明
通过为连锁零售品牌商从0到1创建品牌线上电商，达到线上流+线下流协同发挥作用互补导流，同时支持零售行业的不同业态，帮助连锁零售总部通过大数据分析反哺上下游，数据化支撑门店选品与存货，通过精准营销寻求更多增量市场。说明 必须已...
无侵入观测概述
全栈监控应用会自动分析所采集到的无侵入监控数据，并通过统计图表形式展示。例如您开启HTTP协议分析后，全程无需埋点，即可通过统计图表了解客户端与服务端真实的运行状态，如下图所示。同时无侵入监控也支持监控多种中间件（MySQL、Redis...
DescribeDataCollction-DescribeDataCollection
获取指定应用的数据采集详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v4/openapi/app-...
常见问题
一个采集点可以是某个设备上需要上传数据的一个传感器。计算公式：设备规模（总设备数）×单个设备的采集点数或传感器数。写入效率：全局每秒需要写入时序数据库的平均数据点数（数据记录数）。计算公式：时间线数×单条时间线每秒需要写入...
通过DaemonSet方式采集Kubernetes容器文本日志
例如/var/log/service 目录是数据卷挂载的路径，则设置采集目录为/var/log 将无法采集该目录下的日志，因为采集目录比挂载路径短。必须设置采集目录为/var/log/service 或更深的目录。日志文件采集停止：docker：当容器被停止时，Logtail会...
数据湖集群
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
埋点API
SDK能采集到的设备标识越少，对统计数据的准确性和稳定性负面影响越大。请在设置收数域名之前，调用SDK预初始化函数之前，先调用采集工具类注册函数/如果不需要对设备标识采集行为做控制，就不需要实现自定义工具类并注册它[QTConfigure ...
可运维能力
同时 PolarDB PostgreSQL版（兼容Oracle）Global AWR还具备了自定义采集及报告编辑能力，极大的方便了客户融入业务层面的定制监控。DevOps友好 数据库的用户既包括运维人员，也包括应用软件的开发人员。PolarDB PostgreSQL版（兼容Oracle）...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
App端性能体验功能说明
如果数据量比较大，可能会消耗几分钟的时间 评分设置 您需要点击「编辑」按钮开始体验评分的设置，如果没有设置，会自动选择默认的指标和配比，体验阈值提供了行业普遍认可的区间，您也可以自行更改 选择参与评分的指标，App端可选择的参与...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
合规&认证
价格，财务及营销规划，业务战略，客户信息，客户数据，研发，软件硬件，API应用数据接口，技术说明，设计，特殊公式，特殊算法等），无论上述信息和资料以何种形式或载于何种载体，无论披露方在披露时是否以口头、图像或书面等方式表明其...
概述
Web应用防火墙WAF（Web Application Firewall）日志服务帮助您采集并存储接入WAF防护的网站域名的Web访问和攻击的防护日志，基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等功能，帮助您专注于分析，远离琐碎...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
日志管理概述
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
日志管理概述
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
离线同步任务运维
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
- 产品推荐
- 这些文档可能帮助您