米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
水处理行业页面模板
组态编辑器中水处理行业模板的使用介绍。水处理行业模板是组态编辑器中专门为水处理行业设计的页面模板。该模板包含了水处理行业常用的数据展示方式和功能...同时，用户需要了解水处理行业相关的数据采集和处理技术，以便更好地应用该模板。
查看集群日报与分析
在具体问题中会告知您出现问题的目录位置以及处理方式，您可以进行对应处理。HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据...
采集-IoT/嵌入式日志
您无需关心日志采集细节实现、也不用担心日志采集会影响您的业务正常运行，大大降低数据采集门槛。C Producer方案与其他嵌入式采集方案对比如下：类别 C Producer 其他方案 编程 平台 移动端+嵌入式 移动端为主 上下文 支持 不支持 多日志 ...
表设计最佳实践
源数据采集客户端太多时，如果源数据通过Tunnel直接进入到一个分区，则每个源数据采集客户端提交一次数据，都会在同一分区下产生一个独立的文件，从而导致大量小文件的出现。当SLS触发FunctionCompute持续高频地向MaxCompute中传入文件时，...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
提供日志类数据采集、智能查询分析、消费与投递等功能，全面提升海量日志处理和分析能力。SLS强大的日志投递能力，能够从源头对接各种类型的日志格式，并且稳定地将日志投递到OSS。OSS低廉的存储成本，能够让您的日志文件存储任意长的时间...
数据库采集器问题
本文解释一些数据库采集问题。采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法...
采集ECS服务日志
如果RAM控制台授权的默认策略或系统角色被删除，可通过 云资源访问授权 进行快捷授权，并为RAM用户授予以下自定义权限，否则会出现权限不足的报错。创建自定义权限的具体操作，请参见 创建自定义权限策略。{"Version":"1","Statement":[{...
使用集群诊断
容器智能运维平台 提供一键故障诊断能力，包括Pod诊断、Service诊断、Ingress诊断，可以辅助您定位集群中出现的问题。本文介绍如何在ACS集群中使用集群诊断功能。前提条件 已创建ACS集群。具体操作，请参见 创建ACS集群。确保ACS集群运行...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
可观测概述
从实际应用的角度来看，在系统中需要重视其稳定性，需要理解什么时候系统运行良好或出现问题，从而可以更快地识别错误，并实施正确的自动化及手动控制来维护系统的可用性。Service Mesh的数据平面代理位于服务之间的网络请求路径中，通过...
Logtail限制说明
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
Logtail
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
节点诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。例如，节点诊断采集节点在K8s中的信息、节点对应的ECS信息、节点内Docker、Kubelet等进程运行状态信息。检查项评估：根据采集到的数据，判断关键指标是否正常。例如，节点诊断检查...
Pod诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。例如，节点诊断采集节点在K8s中的信息、节点对应的ECS信息、节点内Docker、Kubelet等进程运行状态信息。检查项评估：根据采集到的数据，判断关键指标是否正常。例如，节点诊断检查...
慢日志分析功能简介
当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。慢日志由数据库内核输出，不同数据库引擎的配置参数及阈值不相同，具体的配置参数和阈值请参见对应数据库引擎的官方文档。传统慢日志查看方式及其...
表设计规范
其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，减少流式小量数据导入。多次导入并定时查询与计算。导入后生成中间表进行计算。合理的...
自动SQL限流
解读 整体流程：监控指标采集：在阿里云申请的RDS实例默认开启主机和引擎的性能指标采集，包括CPU，IOPS，QPS，活跃会话等，这些实时数据是后续所有分析和处理的基础。异常检测：该模块通过机器学习对实例历史性能数据进行离线训练获得相关...
使用Kafka客户端消费订阅数据
若您使用原生的Kafka客户端消费订阅数据，则可能会在DTS发生增量数据采集模块切换行为，从而使subscribe模式下订阅客户端保存在服务端的消费位点被清除，您需要手动调整订阅的消费位点以实现按需消费数据。若您需要使用subscribe模式建议...
使用集群诊断
容器智能运维平台 提供一键故障诊断能力，包括节点诊断、Pod诊断、Service诊断、Ingress诊断、内存诊断、网络诊断，可以辅助您定位集群中出现的问题。本文介绍如何在ACK集群中使用集群诊断功能。前提条件 已创建Kubernetes托管版集群。具体...
SQL洞察
当数据库实例负载非常高时，会丢失少量记录，因此通过SQL洞察来统计增量数据可能会出现不准确的情况。SQL洞察中记录的SQL语句最大长度为8192字节，超过部分不再记录。其中 RDS MySQL 和 PolarDB MySQL版 实例记录的SQL语句最大长度受参数...
搜索（审计）
设置并打开导出的CSV文件 当导出的SQL日志包含数据分隔符时，使用Excel等工具打开CSV文件时可能会出现数据没有分列显示的现象。为了避免该问题，采用冷热混合存储的 搜索 功能在导出CSV文件时，增加了可供选择的 CSV分隔符。本文以Windows...
常见问题
企业出现重大敏感数据泄露事件时，需要进行全面的事件还原和追责处理，但是由于数据访问者较多，泄密途径不确定，导致定责模糊。数据水印将标记信息嵌入原始数据，在不影响数据使用的前提下，生成水印和添加数据标记，可对泄露数据溯源，...
Modbus驱动
Link IoT Edge提供Modbus官方驱动，用于支持工业领域...答：Modbus官方驱动在每个采集周期内，按照设备维度进行采集和上报数据。例如，1个Modbus设备有100个属性，数据采集间隔为5秒，那么Modbus驱动每5秒上报云端1条消息（因为是1个设备）。
使用创建反向任务功能
反向实例创建成功后会立即进行预检查，预检查通过后会进行增量数据采集，增量数据写入模块不会运行。每个同步实例仅支持创建一个对应的反向实例，且当反向实例启动后，原实例将无法直接启动。不支持为跨国家和跨境的同步实例创建反向实例。...
查询分析RocketMQ客户端日志
本文使用Beats、Elasticsearch、Logstash和Kibana，在分布式环境下采集、汇聚、解析阿里云RocketMQ客户端SDK日志，帮助您在消息队列开发场景中快速定位并解决应用开发问题。背景信息 阿里云Elasticsearch（简称ES）已具备Elastic Stack全栈...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
PolarDB PostgreSQL版间的迁移
其他限制 全量数据初始化时将占用源库和目标库一定的读写资源，会导致数据库的负载上升，因此在执行数据同步前需评估源库和目标库的性能，建议在业务低峰期执行数据同步。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
启用控制平面日志采集和日志告警（旧版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议，如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
启用控制平面日志采集和日志告警（旧版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议，如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
日志服务采集数据常见的错误类型
如果您遇到其他问题，请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常，或者是否存在数据量超过默认配置、配额不足或者网络存在问题。LOGFILE_...
- 产品推荐
- 这些文档可能帮助您