SQL周期性采集
在Linux 环境下执行.sh，本文以Linux环境介绍如何进行数据采集）。Oracle 10g、11g sh collect_10g_cycle.sh –h<ip>-u<username>-p<password>-d<service_name>-c<cron>sh collect_11g_cycle.sh –h<ip>-u<username>-p<password>-d...
互联网教育：尚学博志（上海）教育科技有限公司
业务挑战 尚学数字化教学解决方案基于移动终端和各类物联网设备进行广泛的数据采集，数据类型也不断扩展，涵盖了教学、学习、生活等不同方面。现有的数据库系统采用的是基于MySQL Share Nothing的部署方案，即依赖主备部署的方式提供高可用...
某新能源汽车造车新势力
同时，数据采集的需求不断增长，近半年来集群写入流量已经翻倍，因此需要存储层具备优异的弹性和线性扩展能力，以适应车辆数量，采集点，以及采集频率的变化。业务写入请求高并发，当前峰值写请求近4w/s，对写入吞吐有较高的要求。高并发的...
基本概念
DBGateway：DBGateway是部署在用户环境中的守护进程，负责数据库性能数据的采集和计算。但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 DBGateway简介。索引：索引是数据库管理系统对数据库表中一个或多...
资产指纹调查
如果您正在使用 资产暴露分析 功能，中间件 的数据采集频率需要设置为 每1小时采集一次、每3小时采集一次、每12小时采集一次 或 每天采集一次，不能设置为 关闭 或 每7天采集一次。更多信息，请参见 资产暴露分析。完成采集频率设置后，云...
Fluentd插件
time"]flush_interval 1s buffer_chunk_limit 3m buffer_queue_limit 128 dirty_data_continue true dirty_data_file 脏数据记录文件路径 retry_times 3 put_data_batch_size 1000使用如下命令启动Fluentd，即可完成CSV文件数据采集进入...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
数据方案概览
环境构建 数据库克隆 支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化。测试数据构建 提供根据字段类型按照多种规则，自动化构建数据的能力。数据追踪/提供数据库Binlog日志的解析处理...
常见问题
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。日志服务可以做什么？存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、...
采集客户端数据的高可用方案
针对该单集群故障风险，日志服务提供两种异地多活的客户端数据采集方案。方案比较 对比项 方案1：双写 方案2：数据加工复制+写入切换 部署复杂度 低 需要额外部署数据加工、切换写入。客户端资源占用 方案1是方案2的2倍 低 数据一致性 较强...
使用流程
1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 基于以上操作，可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等，用户可根据数据库评估分析里 对象兼容度 详情和 SQL兼容度 详情，根据指导建议自助...
物联网设备数据上云存储
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
ADAM概览
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 Prometheus实例是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控大盘和报警...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 可观测监控 Prometheus 版 是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控...
最佳实践
消费与投递 搭建监控系统 计量计费日志 通过Consumer Library实现高可靠消费 日志应用 通用数据库审计 Kubernetes中的通用数据库审计部署方案 Trace服务 导出Trace数据到Grafana 接入Apache SkyWalking Trace数据到日志服务 在K8s环境下接...
Dataphin新手引导
新手引导帮助您了解Dataphin的基础操作步骤，包括数据规划、规范定义、规范建模及发布与运维等操作此外，您可以通过导入示例模型快速体验Dataphin研发...查看运行结果 查看基于生产环境数据的任务运行结果是否符合预期。详情请参见 运行记录。
采集ACK服务日志
可选：首次进入 Beats数据采集中心 页面，需要在服务授权对话框中查看提示信息，无误后单击 确认，授权系统创建服务关联角色。说明 Beats采集不同数据源中的数据时，依赖于服务关联角色以及角色规则。使用过程中请勿删除服务关联角色，否则...
新建自定义数据源
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 选择数据源所属的标签分类。非必选。链接地址 填写数据库的链接地址。如 jdbc:mysql:/host:port/dbname。用户名 填写登录数据库的用户名。...
新建自定义数据源
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 选择数据源所属的标签分类。非必选。链接地址 填写数据库的链接地址。如 jdbc:mysql:/host:port/dbname。用户名 填写登录数据库的用户名。...
产品介绍
应用场景 微型闪电立方支持边缘数据的计算、传输和存储，满足您对边缘数据处理的多种需求，典型应用场景包括：自动驾驶数据采集 支持车载数据采集与传输。单车每天可能产生数TB的数据，这些数据需要及时存储到云上或指定机房。普通的外接...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
快照概述
什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上基于云盘快照，对某个文件系统打快照相当于对该文件系统所部署的所有云盘同时打快照。文件系统第一份...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
东软案例
建设效果 目前系统已经在阿里云端支撑某行业车企存储、检索从全球客户终端采集的用户数字足迹和客户体验数据，应对日活量上万客户访问监控数据采集，日均实时监控指标数据采集1.2亿元组，节约数据存储和系统维护成本达4成，建设效果如下图...
通过Pod环境变量配置应用日志采集
特殊场景1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
米哈游
在数据采集方面，日志服务支持客户端、网页、协议、SDK、API等50多种采集方式，支持断点续传以保证数据采集可靠性，根据不同业务环境支持内网+VPC、公网+全球加速等多种传输方式。日志服务帮助《原神》高效可靠地采集来自不同区域服务日志...
沙盒网络
同时日志服务根据不同业务环境支持内网+VPC、公网+全球加速等多种数据传输方式，能够很好地适应沙盒网络全球化的业务数据采集场景。在多元化数据统一管理方面，日志服务提供可托管、高可用、可扩展的数据加工服务，广泛适用于数据的规整、...
数据查询与分析管控
目前不支持授权生产环境MaxCompute类型引擎数据源的权限（即绑定MaxCompute引擎时，自动创建的生产环境数据源）。但在数据分析模块中，可通过指定表所在项目的方式去访问生产表，且默认使用当前登录账号查询数据。支持的数据源类型 目前仅...
采集-多渠道数据
不同网络环境下的数据采集 LogHub在各Region提供访问点，每个Region提供三种方式接入：内网（经典网络）：本Region内服务访问，带宽链路质量好（推荐）。公网（经典网络）：可以被任意访问，访问速度取决于链路质量、传输安全保障建议使用...
Logtail配置文件和记录文件
文件路径 主机环境 操作系统 Logtail ilogtail_config.json文件路径 Linux Logtail（64位程序）/usr/local/ilogtail/ilogtail_config.json Windows（64位操作系统）Logtail（64位程序）C:\Program Files\Alibaba\Logtail\ilogtail_config....
资产安全概述
生产数据写开发环境、测试环境数据准备 例如，脚本任务需要识别手机号的位数，但该脚本任务中的数据表选择了MD5脱敏算法，将11位的手机号变成了32位，导致脚本任务无法识别手机号位数。因此，在使用资产安全的过程中，您需要结合安全法规及...
资产安全概述
生产数据写开发环境、测试环境数据准备 例如，脚本任务需要识别手机号的位数，但该脚本任务中的数据表选择了MD5脱敏算法，将11位的手机号变成了32位，导致脚本任务无法识别手机号位数。因此，在使用资产安全的过程中，您需要结合安全法规及...
数据库采集
下载采集器：如果源库不能对外使用公网，或者无法从云上去访问，可以通过ADAM数据采集器采集数据库。更多信息，请参见 采集器采集。在线采集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM）>数据库...
SQL审计（数据库审计）
说明 系统是从数据库内采集csvlog文件内容，然后保存到日志服务器后提供给您查看，如果需要调整数据库内csvlog文件的最大保留个数，您可以调整实例参数 rds_max_log_files。关闭SQL审计 为节约成本，您可以在不需要审计SQL时关闭SQL审计...
通过日志服务采集Kubernetes容器日志
定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
概述
Telegraf是InfluxData开发的数据采集器，支持众多的输入输出插件（例如MySQL、Redis、Elasticsearch等），在开源领域被广泛使用。本文介绍Telegraf的工作机制、安装步骤及采集方式。工作机制 日志服务基于Telegraf开发的监控模板，支持将...
深度检测
数据库自治服务DAS 为 RDS SQL Server 提供深度检测功能，可以检测数据重要指标是否异常...单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。
设备风险SDK iOS接入
（点击“设备APP管理”-“下载设备SDK”-“更多版本”，安卓：A.demo，iOS：I.demo）5、请根据自身业务属性，选择是否带有idfa等敏感数据采集功能的SDK，具体参考SDK下载列表描述。通过SDK采集数据 通过SDK采集数据，务必确保用户同意...
- 产品推荐
- 这些文档可能帮助您