性能监控最佳实践
为了解决此类问题，首先需要云服务商更好的支持开源链路标准，添加核心方法埋点，并支持开源协议栈透传与数据回流（如 应用实时监控服务 的前端监控能力支持 Jaeger 协议透传与方法栈追踪）。其次，由于不同系统的业务归属等问题，无法完成...
产品架构
对用户保持透明，即宽表/时序中的部分字段通过内部的数据链路自动同步搜索引擎，而数据的模型及读写访问对用户保持统一，用户无需关心搜索引擎的存在，跨引擎之间的数据关联、一致性、查询聚合、生命周期等工作全部由系统内部协同处理，用...
调用链采样配置最佳实践
但是我们也无法忽视调用链全量采集带来的网络I/O、链路处理、性能损耗、数据存储等可观测费用成本。常用采样方案介绍 通过大量实践发现，无论从计算、存储资源成本消耗上进行分析，还是从具体使用场景角度评估，都不一定需要收集所有埋点...
大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...
应用场景
多源联合分析 该场景需要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，以及分库分表所带来的数据分析复杂性问题，让用户可以更专注于业务逻辑。该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB...
配置蓝图交互逻辑
通过编写抽奖算法代码对数据进行处理并将逻辑节点与组件节点连线后，可以实现将获取的中奖名单数据分发至对应的某等奖翻牌器中的功能。（推荐）您还可以将 抽奖池 节点、抽出一二三等奖 逻辑节点、一等奖数据、二等奖数据 和 三等奖数据 三...
配置蓝图交互逻辑
通过编写抽奖算法代码对数据进行处理并将逻辑节点与组件节点连线后，可以实现将获取的中奖名单数据分发至对应的某等奖翻牌器中的功能。（推荐）您还可以将 抽奖池 节点、抽出一二三等奖 逻辑节点、一等奖数据、二等奖数据 和 三等奖数据 三...
文档更新动态（2022年之前）
规避了审批者误操作，导致的数据泄露与安全问题。通用功能 创建项目 2020-09-17 编辑项目 功能拓展 Dev-Prod开发模式中，新增同时为Dev和Prod项目添加成员的功能。通用功能 管理项目空间的权限和计算源 2020-09-17 离线计算任务 功能拓展 ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
功能更新动态（2022年之前）
规避了审批者误操作，导致的数据泄露与安全问题。2020年9月17日 华东2（上海）、华南1（深圳）和华北2（北京）创建项目 编辑项目 Dev-Prod开发模式中，新增同时为Dev和Prod项目添加成员的功能。管理项目空间的权限和计算源 离线计算任务 ...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
MSE Agent版本说明
2023年 版本 发布时间 发布说明 3.1.4 2023年12月25日 修复MSE逻辑中的性能问题。修复Related从false改成true导致readiness探针检查不通过问题。修复延迟注册对于Eureka无效的问题。在仅开启MSE功能的场景下，不再采集ARMS Span、Metrics和...
技术原理
PolarDB-X 1.0 控制台上创建 PolarDB-X 1.0 数据库时，在选定一个数据库实例的情况下，可以选择将底层数据库实例下的一个逻辑数据库直接引入 PolarDB-X 1.0 做读写分离，不需要做数据迁移。分布式事务 分布式事务通常使用二阶段提交来保证...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
新功能发布记录
2022.06.25 所有用户 数据智能诊断 数据质量是做出推荐效果的基础，推出数据诊断功能辅助分析数据存在的问题、优化的空间，从而获得更优质的推荐效果：每日凌晨将自动触发数据诊断，结合服务可用性、数据逻辑合理性、算法链路是否奏效等多...
实时分析链路数据
为了降低全量存储成本，可以在用户集群内部署边缘数据节点，进行临时数据缓存与处理，降低跨网络上报开销。或者，在服务端进行冷热数据分离存储，热存储进行全量调用链分析，冷存储进行错慢链路诊断。后聚合分析的查询性能开销大，并发小，...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
数据归档概述
归档链路文档 数据归档至专属存储 数据归档至AnalyticDB MySQL 3.0 数据归档至Lindorm 数据归档至AnalyticDB PostgreSQL版 数据归档至RDS MySQL 数据归档至PolarDB MySQL版 数据归档至用户OSS 数据归档至DBS内置OSS 常见问题 Q：如果在数据...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
附录：SOFAStack 产品目录
应用场景 海量数据读写 提供灵活的数据拆分机制，代码侵入性低，可以非常方便地实现数据的水平拆分与扩容，从而解决数据库单机瓶颈的问题。金融级数据容灾 基于蚂蚁集团内部多年的金融级数据容灾场景，针对不同业务场景提供了多种机房级...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
Tair全球多活简介
全球多活架构 Tair 全球多活 是所有全球多活子实例（简称子实例）及链路的逻辑集合，所有子实例通过同步通道保持实时数据同步，各组件介绍如下：子实例 构成全球多活实例的子实例，即独立的实例，是构成多活实例的基本服务单元。...
Redis全球多活简介
全球多活架构 Redis 全球多活 是所有全球多活子实例（简称子实例）及链路的逻辑集合，所有子实例通过同步通道保持实时数据同步，各组件介绍如下：子实例 构成全球多活实例的子实例，即独立的实例，是构成多活实例的基本服务单元。...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
如何基于LSM-tree架构实现一写多读
最基础的DDL操作，例如Create或Drop操作，在一写多读架构下，要考虑数据与数据字典，数据与字典缓存一致性等问题。一写多读的基础是物理复制，物理复制日志只在引擎层流动，不涉及到Server层，因此需要新增日志来解决DDL操作导致的不一致...
方案概述
逻辑迁移（DTS数据同步）方式：通过数据传输服务DTS，创建数据同步任务，将源RDS MySQL实例的库表结构和全量数据同步至创建的 PolarDB MySQL版 集群中，然后保持增量数据同步。物理迁移（物理复制）和逻辑迁移（DTS数据同步）方式区别如下...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service），支持将在数据管理（Data Management，简称DMS）配置的逻辑库同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已在数据管理...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
从MongoDB单节点实例迁移至副本集或分片集群实例
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
RDS PostgreSQL迁移至RDS MySQL
本文以 RDS PostgreSQL 实例为源数据库、以 RDS MySQL 实例为目标数据库介绍配置流程，其他数据源配置流程与本案例类似。RDS PostgreSQL 迁移至 RDS MySQL。自建PostgreSQL迁移至自建MySQL。前提条件 已创建源 RDS PostgreSQL 实例，详情请...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
使用前后端链路追踪诊断API错误原因
在前端监控中，即便已知API的请求耗时，也无从知晓准确的网络传输性能、后端服务的调用链路及性能，因而无法快速准确地排查应用API问题。前后端链路追踪功能可以解决此类问题，它会将API请求从前端发出到后端调用的链路串联起来，真实还原...
一键克隆RDS MySQL至PolarDB MySQL版
逻辑迁移（DTS数据同步）方式：通过数据传输服务DTS，创建数据同步任务，将源RDS MySQL实例的库表结构和全量数据同步至创建的 PolarDB MySQL版 集群中。物理迁移（物理复制）和逻辑迁移（DTS数据同步）方式区别如下：对比项 物理迁移（物理...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
- 产品推荐
- 这些文档可能帮助您