产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
功能概览
2.2 数据投递 提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统，极大减轻了数据链路的工作量。2.3 数据缓存 灵活的缓存时间，下游可重复消费，自动多备份，保障数据高可靠性。2....
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
如何实现恢复数据一致性
工作原理 针对逻辑备份方式，全量备份为了尽可能降低对数据库性能影响，采用无锁备份方式，并行拉取数据并备份到OSS上，全量备份会产生不同时间点数据，在数据恢复时，先恢复全量备份数据，然后恢复增量备份数据，利用增量备份恢复的幂等性...
通过Jaeger上报Java应用数据
通过Jaeger为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何进行手动埋点，以及使用...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
使用DBS和DG备份本地或第三方云数据库
详细的原理介绍请参见 工作原理。前提条件 已创建数据库网关。创建方法请参见 新建数据库网关。已在网关中添加目标数据库。添加方法请参见 添加数据库。已创建DBS备份计划。创建方法请参见 购买备份计划。注意事项 确保网关程序所在的机器...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
使用DBS和DG备份本地或第三方云数据库
详细的原理介绍请参见 工作原理。前提条件 已创建数据库网关。创建方法请参见 新建数据库网关。已在网关中添加目标数据库。添加方法请参见 添加数据库。已创建DBS备份计划。创建方法请参见 购买备份计划。注意事项 确保网关程序所在的机器...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
通过Jaeger上报Java应用数据
通过Jaeger为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何进行手动埋点，以及使用...
使用前后端链路追踪诊断API错误原因
工作原理 在允许API自动上报的前提下，如果API与当前应用的域名同源，则会在API请求头（Request Header）加入两个自定义Header：EagleEye-TraceID和EagleEye-SessionID。EagleEye-TraceID即串联前后端链路的标识。如果API与当前应用的域名...
多可用区部署
传统的主备容灾概述 传统的主备容灾为了实现高可用性，通常的原理是分别在两个不同的可用区（可用区A和可用区B）中购买一个Lindorm实例（主实例1和备实例2），使用数据通道服务（简称LTS）实现Lindorm实例间的双向同步。当主实例1发生故障...
强制客户端开启SSL连接
verify-ca：加密数据链路，同时检查客户端认证真伪。verify-full（RDS PostgreSQL 12以上支持）：加密数据链路，同时检查客户端认证真伪，检查证书CN与数据库用户名匹配。方法二：配置pg_hba.cnf文件 在配置SSL链路加密后，您可以通过RDS ...
应用场景
数据通道：通过BDS构建云HBase与异构计算系统的高效、易用的数据链路。快速导入：通过BulkLoad将海量数据快速导入HBase，效率比传统方式提升一个数量级。高并发：水平扩展至千万级QPS。弹性：存储计算分离架构，支持独立伸缩，自动化扩容。...
应用场景
数据通道：通过LTS（原BDS）构建Lindorm与异构计算系统的高效、易用的数据链路。快速导入：通过BulkLoad将海量数据快速导入Lindorm，效率比传统方式提升一个数量级。高并发：水平扩展至千万级QPS。弹性：存储计算分离架构，支持独立伸缩，...
PolarDB MySQL和ADB MySQL联邦分析功能发布
优势如下：低成本：每个地域最多可创建30条免费的 数据链路，每个 PolarDB MySQL实例 最多可创建 3条免费的数据链路。易用性：在一个页面即可一键构建联邦分析链路，无需额外购买和管理链路资源。多源汇聚：通过联邦分析链路将多个 PolarDB...
【通知】AnalyticDB MySQL发布联邦分析功能
优势如下：低成本：每个地域最多可创建30条免费的 数据链路，每个 PolarDB MySQL实例 最多可创建 3条免费的数据链路。易用性：在一个页面即可一键构建联邦分析链路，无需额外购买和管理链路资源。多源汇聚：通过联邦分析链路将多个 PolarDB...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
基本概念
一个集群可以有一个物理数据库和多个逻辑数据库。物理库 物理库，是数据库在物理存储设备上的物理表示和存储方式，包括数据文件、日志文件、索引文件等。创建 AnalyticDB for MySQL 集群时，会自动创建一个物理库。每一个物理库被切分为...
快速配置SSL加密
Verify-CA：加密数据链路，同时验证数据库的真实性。Verify-Full：加密数据链路，验证数据库的真实性，同时比对证书内的CN或DNS与连接时配置的 Host name/address 的一致性。Root certificate 当 SSL mode 取值为 Verify-CA 或 Verify-Full...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
通过Zipkin上报Go应用数据
通过Zipkin上报数据的原理 代码埋点 要通过Zipkin将Go应用数据上报至 可观测链路 OpenTelemetry 版 控制台，首先需要完成埋点工作。添加组件依赖。[[constraint]]name="github.com/openzipkin/zipkin-go" version = "0.1.1" [[constraint]]...
实现原理
监控的通用逻辑 定义数据源：首先，需要建立元数据基本模型，元数据是监控系统的根基。例如：定义应用、部署实例、机房信息，单元化信息等。在 SOFAStack 场景下，这部分信息需要从 PaaS 侧自动获取。数据采集：通过安装在机器上的 Agent ...
使用Mongo Shell通过SSL加密连接数据库
在使用Mongo Shell连接数据库时，您可以启用SSL（Secure Sockets Layer）加密功能提高数据链路的安全性。通过SSL加密功能可以在传输层对网络连接进行加密，在提升通信数据安全性的同时，保障数据的完整性。前提条件 实例类型为副本集实例，...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
通过Zipkin上报Go应用数据
通过Zipkin上报数据的原理 代码埋点 要通过Zipkin将Go应用数据上报至 可观测链路 OpenTelemetry 版 控制台，首先需要完成埋点工作。添加组件依赖。[[constraint]]name="github.com/openzipkin/zipkin-go" version = "0.1.1" [[constraint]]...
计费规则
链路数据存储7天，统计指标存储30天。链路上报费用：100（100个百万Span）*0.09（百万Span上报单价）=9元/天 链路每天存储费用：100（100个百万Span）*7（天）*0.02（百万Span存储单价）=14元/天 指标每天存储费用：10（10个百万指标）*30...
链路数据（Trace）
链路数据（Trace）用于记录单次请求范围内的处理信息，其中包括服务调用和处理时长等数据。一条链路数据对应一条调用链。在广义上，一个调用链代表一个事务或者流程在（分布式）系统中的执行过程。在OpenTracing标准中，调用链是多个Span...
基于Delta lake的一站式数据湖构建与分析实战
其主要数据链路如下：步骤一：服务开通并准备数据 1.服务开通 确保DLF、OSS、DDI、RDS、DTS等云产品服务已开通。注意DLF、RDS、DDI实例均需在同一Region下。2.数据准备 RDS数据准备，在RDS中创建数据库dlf-demo。在账户中心创建能够读取...
安装Jaeger Agent
可观测链路 OpenTelemetry 版 支持使用OpenTelemetry、Jaeger、Zipkin和Skywalking客户端将应用链路数据上报至控制台。如果你需要通过Jaeger Agent上报数据请先安装Jaeger Agent。步骤一：获取接入点信息 登录 可观测链路 OpenTelemetry 版...
备份恢复概览
逻辑备份：OceanBase 的逻辑备份是一种更为抽象层次的备份手段，它侧重于按照逻辑数据结构（如表、索引、触发器、存储过程等）进行备份操作。逻辑备份具有高度的选择性，允许用户针对性地备份部分数据，比如单独备份某数据库中的特定表，...
链路追踪的审计事件
链路追踪已与操作审计服务集成，您可以在操作审计中查询用户操作链路追踪产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
通过OpenTelemetry上报PHP应用
通过OpenTelemetry为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何使用...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
全链路监控配置
说明 开启链路追踪功能后，将自动为您开通可观测链路追踪OpenTelemetry版专家版，并上报调用链路数据。配置链路追踪 登录 PTS控制台，在左侧导航栏选择 性能测试>创建场景，然后单击 PTS压测。在 监控配置 区域，选择 服务端地域，打开 ...
- 产品推荐
- 这些文档可能帮助您