查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
为什么在控制台看不到数据？
使用开源客户端上报数据后，如果遇到控制台或日志中打印了错误日志，或者控制台上没有观察到报错数据，可以根据本文档进行问题排查。控制台没有数据的可能原因：网络无法连通 控制台中上报开关设置有误 SLS数据源上报失败 HTTP上报数据失败...
提供服务
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可...相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 创建告警规则。
2024年
修复数据处理场景中存储引擎处理特定数据时会触发 negative bitmapset member not allowed 报错信息，导致执行引擎异常崩溃的问题。修复数据处理过程中系统在尝试读取数据文件的特定块时发生错误，触发 beam could not read block in file ...
为什么在控制台看不到数据？
使用开源客户端上报数据后，如果遇到控制台或日志中打印了错误日志，或者控制台上没有观察到报错数据，可以根据本文档进行问题排查。控制台没有数据的可能原因：网络无法连通 控制台中上报开关设置有误 SLS数据源上报失败 HTTP上报数据失败...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
调用链分析
将应用数据上报至 可观测链路 OpenTelemetry...接口指标详情 相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 创建告警规则。
提供服务
将应用数据上报至 可观测链路 OpenTelemetry 版 后，...相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 应用监控告警规则。
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
同步时源库为PolarDB-X 1.0的注意事项及限制
PolarDB-X 1.0 同步至云原生数据仓库AnalyticDB MySQL 3.0 类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；...
调用链分析
将应用数据上报至 可观测链路 ...接口指标详情 相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 应用监控告警规则。
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
配置数据层
配置异地多活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不可用...
方案概述
切换域名后，可能会存在DNS解析缓存问题，在缓存过期时间内可能会出现连接不上数据库或数据库只支持读操作无法执行写入操作等情况，建议您刷新一下服务器的DNS缓存。切换域名后，如果您需要使用DMS登录PolarDB-X 2.0标准版数据库，必须使用...
PolarDB-X 1.0迁移至云原生数据仓库 AnalyticDB ...
在迁移期间，请勿对源实例执行扩缩容（比如扩缩容其下挂载的 RDS MySQL，或者虽未扩缩容 RDS MySQL，但 RDS MySQL 中逻辑库表对应的物理库表的分布发生变化）、迁移热点表、变更拆分键操作和变更DDL等操作，否则数据迁移任务会失败，或者...
性能监控最佳实践
透传协议标准化：全链路所有应用需要遵循同一套协议透传标准，保证链路上下文在不同语言应用间能够完整透传，不会出现断链或上下文缺失的问题。目前主流的开源透传协议包括 W3C、Jaeger、B3、SkyWalking等。最大化释放多语言产品能力：链路...
PolarDB-X 1.0同步至DataHub
警告 在选择附加列规则前，您需要评估附加列和目标Topic中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。目标库对象名称大小写策略 您可以配置目标实例中同步...
诊断服务端报错问题
网页抛错是互联网应用最常见的问题之一，但其错...相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用ARMS的告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 应用监控告警规则。
全链路流量控制简介
多应用问题排查 当部署在EDAS中的HSF微服务应用出现问题时，可以通过全链路流量控制将特定流量引入到某个应用，排查链路中具体应用的问题，保证整个微服务应用正常运行。入口应用与流量控制规则 在全链路流量控制中首先要指定入口应用，并...
使用前后端链路追踪诊断API错误原因
重要 配置 enableApiCors 为 true，后端服务也需要支持跨域请求及自定义header值，请确认所有请求都配合联调正常，否则会出现请求失败的问题。Nginx配置参考如下：upstream test { server 192.168.220.123:9099;server 192.168.220.123:...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB ...
在同步期间，请勿对源实例执行扩缩容（比如扩缩容其下挂载的 RDS MySQL，或者虽未扩缩容 RDS MySQL，但 RDS MySQL 中逻辑库表对应的物理库表的分布发生变化）、迁移热点表、变更拆分键操作和变更DDL等操作，否则数据同步任务会失败，或者...
PolarDB-X 1.0间同步
在同步期间，请勿对源实例执行扩缩容（比如扩缩容其下挂载的 RDS MySQL，或者虽未扩缩容 RDS MySQL，但 RDS MySQL 中逻辑库表对应的物理库表的分布发生变化）、迁移热点表、变更拆分键操作和变更DDL等操作，否则数据同步任务会失败，或者...
PolarDB-X 1.0同步至阿里云消息队列Kafka
在同步期间，请勿对源实例执行扩缩容（比如扩缩容其下挂载的 RDS MySQL，或者虽未扩缩容 RDS MySQL，但 RDS MySQL 中逻辑库表对应的物理库表的分布发生变化）、变更拆分键操作和变更DDL等操作，否则数据同步任务会失败，或者数据不一致。...
PolarDB-X 1.0同步至PolarDB MySQL版
在同步期间，请勿对源实例执行扩缩容（比如扩缩容其下挂载的 RDS MySQL，或者虽未扩缩容 RDS MySQL，但 RDS MySQL 中逻辑库表对应的物理库表的分布发生变化）、迁移热点表、变更拆分键操作和变更DDL等操作，否则数据同步任务会失败，或者...
方案概述
切换域名后，可能会存在DNS解析缓存问题，在缓存过期时间内可能会出现连接不上数据库或数据库只支持读操作无法执行写入操作等情况，建议您刷新一下服务器的DNS缓存。切换域名后，如果您需要使用DMS登录 PolarDB 数据库，必须使用新版本的...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service），支持将在数据管理（Data Management，简称DMS）配置的逻辑库同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已在数据管理...
PolarDB-X 1.0同步至RDS MySQL
在同步期间，请勿对源实例执行扩缩容（比如扩缩容其下挂载的 RDS MySQL，或者虽未扩缩容 RDS MySQL，但 RDS MySQL 中逻辑库表对应的物理库表的分布发生变化）、迁移热点表、变更拆分键操作和变更DDL等操作，否则数据同步任务会失败，或者...
使用DTS迁移实例
注意事项 类型 说明 源库限制 待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。待迁移的数据库名称中间不能包含短划线（-），例如dts-testdata。如迁移对象为表级别，且需进行编辑（如表列名...
新功能发布记录
逻辑数仓 数据归档新增归档至 AnalyticDB MySQL版 链路 迭代 定时将大表的数据归档至OSS、Lindorm、AnalyticDB MySQL版 数据库，解决了由于线上数据量增多影响表的查询性能与业务运作的问题。数据归档至AnalyticDB MySQL 3.0 03月 功能名称...
RDS PostgreSQL间的数据迁移
注意事项 类型 说明 源库限制 待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。待迁移的数据库名称中间不能包含短划线（-），例如dts-testdata。如迁移对象为表级别，且需进行编辑（如表列名...
实时分析链路数据
如果您的应用遇到流量不均、单机故障、慢接口...相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用ARMS的告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 应用监控告警规则。
附录：SOFAStack 产品目录
数据访问代理 数据访问代理（Open Database Proxy，简称 ODP）能够解决海量请求下的数据访问瓶颈和数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务，为海量数据访问提供低消耗、高性能、高可用的轻量级解决...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象的粒度为集合，且需进行编辑（如集合的名称映射），则单次迁移任务最多支持迁移1000个集合。当超出数量限制，任务提交后会显示...
云数据库MongoDB版（副本集架构）间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
云数据库MongoDB版（副本集架构）间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
一键克隆RDS MySQL至PolarDB MySQL版
对源库有如下限制：类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用 db.$table_name.aggregate([{$count:"myCount"}])语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用 db.$table_name.aggregate([{$count:"myCount"}])语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），...
- 产品推荐
- 这些文档可能帮助您