产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
管理问题数据
当问题数据采集过程中出现错误时，帮助您快速排查、定位问题。方式一：通过数据质量模块查看。您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过...
应用场景
与传统架构不同，云消息队列 Kafka 版 以及Storm、Samza、Spark等数据处理引擎的出现，就是为了更好地解决这类数据在处理过程中遇到的问题，数据处理模型能实现在数据流动的过程中对数据进行实时地捕捉和处理，并根据业务需求进行计算分析...
基于GitHub公开事件数据集的离线实时一体化实践
降低系统复杂度：减少数据管理和处理的复杂度，使数据管理和处理更加简单和高效。提高数据应用价值：更加充分地发挥数据的应用价值，为企业提供更好的决策支持。阿里云在此方向上进行了诸多方案设计，推出了化繁为简的实时离线一体化数仓，...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
水处理行业页面模板
组态编辑器中水处理行业模板的使用介绍。水处理行业模板是组态编辑器中专门为水处理行业设计的页面模板。该模板包含了水处理行业常用的数据展示方式和功能...同时，用户需要了解水处理行业相关的数据采集和处理技术，以便更好地应用该模板。
采集-IoT/嵌入式日志
C Producer 日志服务量身定制的日志数据采集解决方案。日志服务客户端Logtail在X86服务器上有百万级部署，可以参见文章：Logtail技术分享：多租户隔离技术+双十一实战效果，Polling+Inotify 组合下的日志保序采集方案。除此之外，日志服务...
通过DaemonSet方式采集Kubernetes容器文本日志
具体操作，请参见 通过Sidecar-控制台方式采集容器文本日志 和 通过业务容器和Logtail容器共享PVC实现日志采集。日志文件路径：容器内文件路径暂不支持存在软链接，请按实际路径配置采集目录。如果业务容器的数据目录通过数据卷（Volume）...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
可观测概述
从实际应用的角度来看，在系统中需要重视其稳定性，需要理解什么时候系统运行良好或出现问题，从而可以更快地识别错误，并实施正确的自动化及手动控制来维护系统的可用性。Service Mesh的数据平面代理位于服务之间的网络请求路径中，通过...
采集ECS服务日志
当出现问题时，您可以在 logs 目录下查看Beats日志来定位问题。在目标ECS实例上安装云助手和Docker服务。具体操作，请参见 安装云助手Agent 和 部署并使用Docker。重要 请使用社区版Docker（docker-ce），使用其他版本Docker（例如podman-...
自动SQL限流
解读 整体流程：监控指标采集：在阿里云申请的RDS实例默认开启主机和引擎的性能指标采集，包括CPU，IOPS，QPS，活跃会话等，这些实时数据是后续所有分析和处理的基础。异常检测：该模块通过机器学习对实例历史性能数据进行离线训练获得相关...
节点诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。例如，节点诊断采集节点在K8s中的信息、节点对应的ECS信息、节点内Docker、Kubelet等进程运行状态信息。检查项评估：根据采集到的数据，判断关键指标是否正常。例如，节点诊断检查...
Pod诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。例如，节点诊断采集节点在K8s中的信息、节点对应的ECS信息、节点内Docker、Kubelet等进程运行状态信息。检查项评估：根据采集到的数据，判断关键指标是否正常。例如，节点诊断检查...
常见问题
企业出现重大敏感数据泄露事件时，需要进行全面的事件还原和追责处理，但是由于数据访问者较多，泄密途径不确定，导致定责模糊。数据水印将标记信息嵌入原始数据，在不影响数据使用的前提下，生成水印和添加数据标记，可对泄露数据溯源，...
查询分析RocketMQ客户端日志
本文使用Beats、Elasticsearch、Logstash和Kibana，在分布式环境下采集、汇聚、解析阿里云RocketMQ客户端SDK日志，帮助您在消息队列开发场景中快速定位并解决应用开发问题。背景信息 阿里云Elasticsearch（简称ES）已具备Elastic Stack全栈...
采集MySQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
日志服务采集数据常见的错误类型
本文介绍日志服务采集数据常见的错误类型及对应的解决方法。如果您遇到其他问题，请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常，或者是否...
PolarDB PostgreSQL版间的迁移
其他限制 全量数据初始化时将占用源库和目标库一定的读写资源，会导致数据库的负载上升，因此在执行数据同步前需评估源库和目标库的性能，建议在业务低峰期执行数据同步。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
采集SQL Server查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持采集SQL Server数据库的...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
采集PostgreSQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持采集PostgreSQL数据库的...
Logstash数据写入问题排查方案
通过Filebeat将数据采集到Logstash中处理，Filebeat部署在用户侧ECS上，但ECS未在安全组开放监听端口。根据具体情况，按照以下方式处理：在对应服务的白名单中，加入Logstash节点的IP地址。说明 获取Logstash的IP地址的具体操作，请参见 ...
常见报错
本文介绍配置任务和任务运行时系统返回的报错信息（如重试信息或错误码）以及解决方法。说明 本文以正则表达式（(.*)?的形式表示报错信息中的变量。若报错无法解决，您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
快速入门
Elasticsearch作为实时分布式搜索和分析引擎，Logstash采集、转换、优化和输出数据，Beats从各个机器和系统采集数据，高级监控报警服务提供Elasticsearch集群各类指标信息的监控，帮助您及时定位并解决问题。通过各个组件 及服务 的结合，...
SparkSQL自适应执行
阿里云E-MapReduce 3.13.0及后续版本的SparkSQL支持自适应执行功能，可以用来解决Reduce个数的动态调整、数据倾斜和执行计划的动态优化问题。使用限制 本文针对SparkSQL自适应执行涉及到的参数适用于Spark 2.x。如果您使用的是Spark 3.x，...
启用控制平面日志采集和日志告警（旧版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议，如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
启用控制平面日志采集和日志告警（旧版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议，如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
常见问题
如果您在使用云虚拟主机时遇到网站无法访问、网站访问异常（报错或者缓慢）、FTP使用异常、网站迁移异常、数据库使用问题、主机功能设置问题、耗资源/DDoS/大流量/升级或续费以及产品计费等问题，您可以参考本文方法进行问题排查。...
可视分析创作间和传统BI软件差异比较
对比项 可视分析创作间 传统BI软件 数据源 数据连接类型：支持Excel上传，支持数据库连接 数据连接类型：支持Excel上传，支持数据库连接 支持临时业务数据，也支持建模后的数据内容 通常需要前期IT人员完成数据建模 数据采集和准备 零代码...
开启控制平面日志和日志告警功能
本文介绍如何在服务网格ASM控制台中配置控制平面日志采集和告警，将日志推送到日志服务的LogStore中进行存储、查询分析并配置日志告警。前提条件 阿里云账号已开通阿里云日志服务SLS。具体操作，请参见 开通日志服务。重要 将日志采集到ASM...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
RDS MySQL版实例的慢日志无数据
解决方案 RDS MySQL 5.5版实例 您可以先确认已开启慢日志功能，若已开启还是出现问题，请 提交工单 进行核实处理。RDS MySQL 5.6版实例 为了彻底解决mysql.slow_log损坏的问题，建议您将RDS的内核小版本升级到最新的内核小版本，详情请参见...
RDS MySQL只读实例同步延迟原因与处理
延迟会导致只读实例与主实例的数据出现不一致，从而导致业务出现问题。另外，延迟也有可能引起日志堆积，导致只读实例空间被迅速消耗。说明 若主实例正产生大量的日志，有可能会使只读实例被锁定。日志复制延迟是通过 show slave status \G...
启用控制平面日志采集和日志告警（新版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议。如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
启用控制平面日志采集和日志告警（新版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议。如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
- 产品推荐
- 这些文档可能帮助您