基本概念
日志采集器 采集系统监控日志用来生成监控数据以及调用链信息的组件。在VPC网络中，机器天然与服务器隔离，日志采集器可以打通服务器和本地机器的连接通道。安装一个日志采集器即可采集整个VPC里所有机器的数据。实时日志 实时日志是针对...
服务器数据采集方案概述
针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案进行了汇总。相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和...
产品优势
高可靠 通过分布式架构、数据三备份、消息At-least-once delivery、Failover和定期轮检等手段，保证任务调度和运行的高可靠。高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
链路上报
分布式链路追踪系统支持 SOFATracer 的主动上报模式。操作步骤 如需使用该模式，请执行如下操作：引入依赖。groupId>com.alipay.sofa</groupId> <artifactId>tracer-enterprise-sofa-boot-starter</artifactId> </dependency>...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
日志管理
查看应用日志并进行分布式搜索 已将该应用日志目录添加在线查看，并将该目录或文件添加到日志服务后，可以查看应用日志并进行分布式搜索。说明 如果您为RAM用户，请先由云账号为RAM用户授权，详情请参见 为RAM用户授予日志服务权限。在应用...
关键技术竞争力
异构兼容标准管控 SOFA Mesh 提供平台无关、语言无关、轻量无侵入特性的云原生方案，实现了传统应用平滑上云，支持异构系统之间的互联互通，传统应用向分布式架构平滑升级，提供了既支持基于 ESB 的传统 SOA 架构又支持 Spring Cloud 和 ...
可观测概述
Span：分布式追踪的基本组成单元，表示一个分布式系统中的单独的工作单元，每一个Span可以包含其它Span的引用。多个Span在一起构成了Trace。Trace：微服务中记录的完整的请求执行过程，一个完整的Trace由一个或多个Span组成。虽然Istio代理...
数据上云工具
Flume（DataHub通道系列）Apache Flume是一个分布式的、可靠的、可用的系统，可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。Apache Flume的DataHub Sink插件可以将日志数据实时...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
采集-IoT/嵌入式日志
嵌入式开发需求主要有以下几点：数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备...
产品概述
另外在业界主流的分布式数据库里，分布式下的Redolog/Binlog等数据库变更日志其实一直被厂商所忽视，从关系数据库的发展历史来看，生态和标准对于市场规模化非常重要，PolarDB分布式版 支持Binlog日志服务，兼容和拥抱MySQL数据库生态，...
应用采集
说明 如果应用是分布式多机器，根据负载均衡的情况，只抽样几台部署Agent即可。先部署Collector，后部署应用Agent，应用要与Collector网络可达（用于推送数据做集中脱敏等处理），部署Collector的机器需要JDK 1.6+版本，JVM内存4G以上。...
ADAM概览
而互联网分布式架构能做到平滑扩容，并且硬件投入跟性能提升成正比。云上IT系统迁移 系统已经在阿里云上，但随着业务增长，现有的数据库不满足需求，需要更换或者新增数据库，ADAM提供的目标存储选型及应用改造专家服务可以帮助您完成系统...
2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
开启CNFS NAS计算端分布式缓存
CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存，并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...
开启CNFS NAS计算端分布式缓存
CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存，并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...
元数据
定时全量采集 系统将默认在每天的6个时段自动触发租户内全部安全协同实例的采集。说明 每天2点、6点、10点、14点、18点、22点同步一次，即隔4个小时，一天同步6次。不支持。按需增量采集 通过SQLConsole控制台的刷新按钮触发增量采集。通过...
算子
Aggregation AnalyticDB MySQL版 是一个分布式数据库，支持多节点并行完成聚合操作（更多关于聚合和分组聚合的信息，请参见 分组聚合查询优化）。Aggregation算子通过 sum()、count()、avg()等函数对数据进行聚合或分组聚合操作。...
概述
数据访问代理 SOFAStack 数据访问代理是金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。数据访问代理兼容 MySQL 协议和语法，支持分库分表、...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
技术架构
PolarDB-X 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的 云原生+分布式 的产品体验。整体架构 PolarDB-X 的整体架构如下：核心组件 元数据服务（Global Meta ...
技术原理
分布式线性扩展 PolarDB-X将数据表以水平分区的方式，分布在多个存储节点（DN）中。数据分区方式由分区函数决定，PolarDB-X支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，目前还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
浙商证券
解决方案 浙商证券联合恒生电子、阿里云、蚂蚁集团共商分布式架构实现的技术路径，在此全新架构基础上建设的互联网用户中心业务系统。用户中心可以为集团公司范围内的客户信息使用和管理提供支撑，提升客户信息使用价值，夯实数据与系统...
企业版产品系列
产品架构 多主集群（库表）的架构图如下：集群中所有的数据文件都存放在共享分布式存储（PolarStore）中，各个RW节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，...
实例介绍
数据访问代理实例在物理上是由多个数据访问代理服务器节点组成的分布式集群。数据访问代理的数据库是逻辑概念，只包含元信息，具体数据由后端连接的物理库存储。目前，只提供 专享实例 类型的数据访问代理实例。用户专享的数据访问代理集群...
强一致分布式事务
Binlog日志服务 事务型的分布式数据库除了面向在线业务的高并发写入以外，一般还需要将在线数据同步给下游的灾备数据、汇聚业务或数据仓库系统等，下游业务对于事务日志的一致性也有比较强的诉求，例如事务不能乱序、事务原子性、DDL支持...
什么是企业级分布式应用服务EDAS
快鱼服饰FASTFISH 借助EDAS搭建起业内一个成熟的分布式业务系统，帮助快鱼解决原有多套系统之间商品、渠道等数据不一致等问题，保障系统的快速迭代和敏捷开发，降低研发周期及成本。微服务架构下，很好地支持海量数据及应用的并发，系统...
概述
SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...
创建分布式实例
若您希望跨地域的不同实例能够自动进行实时数据同步，您可以通过转化已有普通实例或创建新实例的方式，创建分布式（全球多活）实例。可应用于跨地域的实例多活、灾备与数据同步等场景。背景信息 Tair 全球多活 是阿里云自研的基于 云原生...
创建分布式实例
若您希望跨地域的不同实例能够自动进行实时数据同步，您可以通过转化已有普通实例或创建新实例的方式，创建分布式（全球多活）实例。可应用于跨地域的实例多活、灾备与数据同步等场景。背景信息 Tair 全球多活 是阿里云自研的基于 云原生...
新增数据同步任务
本文以 RDS 数据源到分布式搜索服务（云搜 ZSearch）的实时同步为例，介绍如何新增数据同步任务。操作步骤 进入数据同步服务控制台，在左侧导航栏中，选择 数据同步任务。单击 添加任务，选择 RDS 数据源同步到分布式搜索服务 的场景。开始...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
历史记录
广播分片模型：广播任务可以通过JobContext获取 shardingNum 和 sharingId，通过自己机器的index进行数据分布式处理。分片模型增强：JobContext可以从 shardingNum 获取所有分片数量。1.2.7，2021-4-28 新特性 新增开关，可以关闭的...
产品优势
作为行业领先的区块链数字身份管理服务，蚂蚁链分布式身份服务 DIS 具备以下优势：分布式 基于区块链构建分布式数字身份系统，摆脱了对单一中心企业的依赖，抵御故障和篡改。各生态参与方平权参与，易于生态合作。身份自主控制 打通用户...
中间件产品总览
提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...
- 产品推荐
- 这些文档可能帮助您