原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
消费-搭建监控系统
监控系统架构 如何搭建监控系统 收集监控数据 配置SLS的日志收集，确保日志收集到了日志服务。中间件使用API消费数据 通过SDK的PullLog接口从日志服务批量消费日志数据，并且把数据同步到下游实时计算系统。搭建storm实时计算系统 选择...
系统架构
本文为您介绍云数据库Memcache的系统架构。简介 云数据库Memcache版采取集群版架构。云数据库Memcache版内置数据分片及读取算法，整体过程对用户透明，免去用户开发及运维烦恼。每个分片节点采取主备架构保证服务高可用。系统架构 云数据库...
发布包总览概述
超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 计算源负责人）项目 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 项目负责人）数据源 跨租户发布使用人...
发布包总览概述
超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 计算源负责人）项目 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 项目负责人）数据源 跨租户发布使用人...
迁移Elasticsearch查询方案到日志服务
迁移前的日志系统架构 ELK系统（Elasticsearch、Logstash和Kibana）架构示例如下图所示。使用Filebeat采集数据。使用3台Kafka机器缓存数据。使用2台Logstash机器将数据从Kafka同步到Elasticsearch。使用5台Elasticsearch机器存储和查询日志...
畅捷通
高效消息采集和传输 畅捷通利用日志服务的强大数据接入能力，将其混合云架构中网络、服务器、移动端、容器的各类访问类、系统类、应用类、消息类等各类日志统一汇入日志服务，实现每天TB级数据的快速处理。灵活的数据处理和存储 针对内部...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
如何解决查询分析与流处理两种场景下的数据口径差异
流处理功能 使用_receive_time_字段可以通过流式消费（加工、投递、消费、计算）进行数据处理，还能帮助我们了解日志数据到达系统的延迟情况，判断日志数据的实时性和延迟程度。使用这两种时间戳有助于我们更好地理解和分析日志数据，从而...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
快速玩转Tablestore入门与实战
TableStore时序数据存储-架构篇 基于Tablestore实现海量运动轨迹数据存储 药品监管系统架构揭秘：海量溯源数据存储与查询 基于Tablestore实现海量摩托车的轨迹管理 超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
分析网站日志
日志服务支持通过SQL92语法分析日志，并提供丰富的统计图表展示分析结果。本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
消费-计量计费日志
系统架构 以日志服务LogHub功能为例：使用LogHub进行计量日志实时采集与计量程序对接：LogHub支持的50+种接入手段。计量程序每隔固定时间消费LogHub中步长数据，在内存中计算生成计费数据结果。（附加）对明细数据查询需求，可以将计量日志...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
什么是云数据库SelectDB版
云数据库SelectDB版 是新一代实时数据仓库 SelectDB 在阿里云上的全托管服务，...日志存储与分析 将日志系统接入到 云数据库SelectDB版，实现日志的实时查询、低成本存储、高效处理，降低企业日志系统综合成本，提升日志系统的性能和可靠性。
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
典型客户案例
另外，银行基础产品在与 C 端，B 端以及同业等多种场景融合时，从系统架构和研发模式上都需要适应互联网场景的需求，实现快速接入、快速上线、快速迭代。解决方案 2017 年，南京银行引入蚂蚁金服（去掉）金融级分布式交易架构能力——分布...
概述
通过 DST，运维人员、开发人员和架构师能看清楚复杂的大规模微服务架构下的应用及服务之间的 复杂调用关系、性能指标、出错信息 与 关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障定责等运...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
空间管理
空间数据图表信息：以图表形式展示实例的空间使用情况，包括空间使用率、数据日志比、TOP 5数据库空间。详细参数说明如下。参数 说明 空间使用率 以仪表盘形式展示实例当前空间使用率，通常空间使用率超过80%，就需要考虑扩容或者清理数据...
应用场景
例如，当应用日志用于离线日志分析时，搜索单个日志记录同样不可或缺，而构建各自独立的工作流来采集每种类型的数据再导入到各自的专用系统显然不切实际，利用 云消息队列 Kafka 版 作为数据中转枢纽，同份数据可以被导入到不同专用系统中...
空间管理
空间数据图表信息：以图表形式展示实例的空间使用情况，包括空间使用率、数据日志比、TOP 5数据库空间。详细参数说明如下。表 2.空间数据图表信息参数说明 参数 说明 空间使用率 以仪表盘形式展示用户RDS实例当前空间使用率，通常空间使用...
概述
日志服务告警管理系统架构如下图所示：告警策略 告警策略是告警管理系统的配置实体，当告警管理系统接收到告警事务（含恢复通知）时，自动按照对应的告警策略，进行告警降噪等操作。告警合并 告警合并是将具有相同特征的告警进行分组，便于...
东软案例
东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时...
功能架构
分布式链路 分布式链路帮助运维人员、开发人员和架构师看清楚复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、...
图扑案例
新技术在创造新机遇带动产业升级的同时也带来了新的技术挑战，更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地，企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点。...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
CloudLens概述
CloudLens基于日志服务构建统一的云产品可观测能力，通过日志、指标、配置计量等数据的关联分析，提供阿里云产品的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务。从成本、性能、安全、数据保护、稳定性、访问分析六...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
高压缩引擎（X-Engine）介绍
直接将 PolarDB 高压缩引擎（X-Engine）作为大容量关系数据库使用，以满足一些写入数据量巨大，但读频次较低的业务的需求（如系统监控日志等）。您可以通过阿里云 DTS 持续实时地将在线库的数据迁移至 PolarDB 高压缩引擎（X-Engine），或...
如何基于LSM-tree架构实现一写多读
这带来的问题是一方面单个事务在关键写路径上需要写两份日志，写性能受制于二阶段提交和binlog的串行写入，另一方面binlog复制是逻辑复制，复制延迟问题也使得复制架构的高可用，以及只读库的读服务能力大打折扣，尤其是在做DDL操作时，这...
备份大小
方法三：将无需备份的数据删除或迁移走 减少或关闭日志备份 减少日志备份 方法一：缩短日志备份保留时长 说明 仅当 日志备份 或 任意时间点恢复 处于开启状态时，才能设置日志备份保留时长。是否开启，请参见 查看日志备份策略。访问 RDS...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On ...Hudi提供了一种消费HDFS变化数据的能力，可以用来优化现有的系统架构。
产品优势
数据闭环流通 与云上日志系统、数据库、数据应用工具无缝集成，能便捷地进行数据同步，降低数据迁移工作量。专业服务能力 阿里云提供专业的数据库专家，给用户提供技术支持和服务。特性 功能介绍 详细描述 架构灵活 支持单节点、单副本、多...
产品架构
说明 该图片来源于社区StarRocks的 系统架构。FE FE是StarRocks的前端节点，负责管理元数据、管理客户端连接、进行查询规划、查询调度等工作。每个FE节点都会在内存保留一份完整的元数据，这样每个FE节点都能够提供无差别的服务。FE根据...
- 产品推荐
- 这些文档可能帮助您