什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
云数据源Alibaba PolarDB分布式版
请登录 云原生分布式数据库控制台，获取数据库地址。例：xxxxxxxxxxxxxxxxxxxxxx.drds.aliyuncs.com 请参见 查看数据库信息。端口 数据库的对应的端口号。用户名和密码 数据库对应的用户名和密码。请确保该用户名具备数据库中表的create、...
事务与Read/Write Concern
而长事务引起的WiredTiger缓存压力超载（wt cache使用率以及dirty使用率超阈值）通常会带来更多的问题，包括数据库卡顿、请求延时大幅增加、CPU使用率满等问题，甚至出现“死锁”，导致业务受损。更多关于内核风险的介绍，请参见 SERVER-...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
概述
但是，传统单机数据库的用户使用接分布式数据库时，普遍会遇到一些共性的问题，比如：应用的数据在分布式数据库应该如何分布？哪些表需要进行水平切分？分区方案及分区列如何选择？分区数目如何确定？哪些表会落在哪些数据节点？资源不均衡...
基本概念
日志采集器 采集系统监控日志用来生成监控数据以及调用链信息的组件。在VPC网络中，机器天然与服务器隔离，日志采集器可以打通服务器和本地机器的连接通道。安装一个日志采集器即可采集整个VPC里所有机器的数据。实时日志 实时日志是针对...
创建同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
全局事务服务（文档停止维护）
全局事务服务（Global Transaction Service，简称 GTS）是一款高性能、高可靠、接入简单的分布式事务中间件，用于解决分布式环境下的事务...通过各种组合，可以轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务等多种业务需求。
应用采集
说明 如果应用是分布式多机器，根据负载均衡的情况，只抽样几台部署Agent即可。先部署Collector，后部署应用Agent，应用要与Collector网络可达（用于推送数据做集中脱敏等处理），部署Collector的机器需要JDK 1.6+版本，JVM内存4G以上。...
关键技术竞争力
异地多活单元化容灾 异地多活单元化容灾架构致力在分布式架构应用拆分和数据拆分的基础上解决以下问题：异地场景下的访问延时问题，实现异地多活。单机房 数据库连接限制 问题，突破物理限制。容量预估和扩容复杂问题，按单元预估和扩容。...
灾备方案
借助阿里云的 Tair 全球分布式缓存功能，可帮助您解决业务因跨地域访问导致延迟大的问题，分布式缓存功能具有如下优势：可直接创建或指定需要同步的子实例，无需通过业务自身的冗余设计来实现，极大降低业务设计的复杂度，让您专注于上层...
灾备方案介绍
借助阿里云的Redis全球分布式缓存功能，可帮助您解决业务因跨地域访问导致延迟大的问题，分布式缓存功能具有如下优势：可直接创建或指定需要同步的子实例，无需通过业务自身的冗余设计来实现，极大降低业务设计的复杂度，让您专注于上层...
2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
ADAM概览
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
2021年
并行查询 排序加速计算 当您执行 SORT后，系统会对表数据进行排序，当数据完成排序后，AnalyticDB PostgreSQL 即可利用数据的物理顺序，将SORT算子下推到存储层进行计算加速。该特性可以基于SORT KEY加速SORT、AGG、JOIN算子。排序加速计算...
LTS（原BDS）服务介绍
核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好的水平扩展能力，用户可以按需进行资源配置 简单易用：LTS支持一键配置数据迁移、导入、订阅、归档等任务。比如数据迁移任务，用户只需要选择源端、目的端和需要同步的...
V5.1.x系列实例版本说明
修复分布式事务中FOR UDPATE查询返回数据错误的问题。V5.1.28-1349132 日期 2017.08.10 类别 说明 修复问题 修复由于新增关键字DB，导致无法使用DB作为列名或表名，并且影响Navicat 从 PolarDB-X 1.0 导入或导出数据的问题。修复字符串类型...
基础术语
OceanBase OceanBase 是阿里巴巴与蚂蚁科技独立自主研发的一款分布式关系数据库产品，融合传统关系数据库和分布式系统的优势，具备高可用、高性能、高可扩展性，在功能上兼容 MySQL 等特点，在通用硬件上提供金融级高可用的数据库服务。...
热点散列
PolarDB-X 作为分布式数据库，对于分区表的各个分区会尽可能均衡的分布到不同的存储节点，更好地利用上整体系统资源，避免出现单点性能。对于Range和List分区，分区数据是按照用户的定义来划分的，对于HASH策略的分区，PolarDB-X采用的是...
常见问题
如何处理distributed_ddl_task_timeout超时问题 分布式DDL查询（带有 on cluster）的执行等待时间，系统默认是180s。您可以在DMS上执行以下命令来设置全局参数，设置后需要重启集群。set global on cluster default distributed_ddl_task_...
查看集群日报与分析
在目录冷热数据分布信息中会展示如下信息：层级目录极冷数据量分布Top 层级目录冷数据量分布Top 层级目录温数据量分布Top 层级目录热数据量分布Top 每个表格会展示具体路径、存储大小、日环比和日增量等信息。HBase存储资源 详细分析 该...
PolarDB PostgreSQL版架构介绍
分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。通过只读实例进行读扩展，每个只读实例独享一...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
PolarDB PostgreSQL版架构介绍
加速比 TPC-H性能：和传统MPP数仓对比 分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。...
客户案例
OceanBase 作为一个可水平扩展的分布式关系数据库系统，在集群中，每个节点的角色关系都是对等的，每个节点都可以提供读写能力，大大提高了系统整体的吞吐能力，这也满足了我们需要迅速导入数据的诉求（TPS 峰值需要在 10 万以上）。...
产品优势
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
常见问题
运维管理 容器应用服务常见问题 经典应用服务常见问题 中间件 SOFABoot 常见问题 微服务常见问题 微服务故障排查之 DRM 微服务故障排查之限流 微服务故障排查之 RPC 服务网格-故障排查 消息队列...数据访问代理常见问题 分布式事务常见问题
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
概述
数据访问代理 SOFAStack 数据访问代理是金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。数据访问代理兼容 MySQL 协议和语法，支持分库分表、...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
表结构设计
尽量不要选择日期、时间和时间戳类型的字段作为分布键，写入时容易发生倾斜影响写入性能，且多数查询通常是限定了日期或者时间段，如：查询最近一天或者一个月的数据，可能会导致要查询的数据只存在于一个节点上，无法充分利用分布式数据库...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
应用场景
如果交易服务使用数据访问代理来分库分表，虽然数据访问代理本身不支持分布式事务，但是分布式事务可以轻松和数据访问代理集成，使得数据访问代理具备分布式事务的处理能力，解决分库分表后的跨库分布式事务问题。跨服务的分布式事务 例如...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
什么是云原生数据库PolarDB分布式版
全局Binlog和全局一致性备份，分别解决分布式数据库各节点数据库向下游流转的难题，以及各节点备份时间差造成的恢复一致性问题。集中式和分布式一体化 PolarDB-X 全面构建集中式和分布式一体化的架构能力（简称“集分一体”），兼具分布式...
管理问题数据
当问题数据采集过程中出现错误时，帮助您快速排查、定位问题。方式一：通过数据质量模块查看。您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过...
创建集群
拥有分布式、高吞吐量和高可扩展性的消息系统Kafka和基于Apache Flink官方产品Ververica提供的Flink商业内核两大组件，专注于解决实时计算端到端的各类问题，广泛应用于实时数据ETL和日志采集分析等场景，您也可以单独使用其中任一组件。...
产品优势
信息变更频繁的信息化时代，仅通过手工方式进行信息变更后的同步，会带来脏读和脏写的问题，采用 SOFAStack 的分布式事务产品可以保证政务机关的信息高效同步，精准一致。泛互联网多领域场景 订单、会员卡、成长值、积分 以积分商城为例，...
- 产品推荐
- 这些文档可能帮助您