前言
既解决了传统数据库容量有限、扩缩容时间长等问题，又提供了分钟级扩容、弹性变配、超高并发等能力，同时提供企业级的高可用及安全特性，HA切换正常切换小于10S，提供数据存储和数据链路加密，满足企业客户的需求。2020年，PolarDB荣获国家...
通过数据同步功能同步SLS数据至数仓版
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
通过数据同步功能同步SLS数据至湖仓版
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
Hive数据导入
数据源及目标端配置参数说明 参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的Hive数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS路径 ...
通过数据同步功能同步SLS至湖仓版（推荐）
数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。数据源 选择已有的SLS数据源，也可新建数据源。目标端类型 目前仅支持 数据湖-OSS存储。OSS路径 ...
故障排查
排查第2层（数据链路）问题。排查第1层（物理）问题。排查路由问题 本地接入设备能ping通云上边界路由器网关VBR的IP，并且已建立了BGP对等会话，如果您的本地服务器依然无法ping通云上VPC的ECS实例，请通过以下步骤排查该问题：若您使用...
错误码
遇到该错误的通常原因是数据节点故障，请联系技术支持。PXC-4108 ERR_VARIABLE_CAN_NOT_SET_TO_NULL_FOR_NOW 描述：变量（variable）不允许被设置为NULL。示例：ERR-CODE:[PXC-4108][ERR_VARIABLE_CAN_NOT_SET_TO_NULL_FOR_NOW]System ...
性能监控最佳实践
提高故障排查效率：当系统或应用出现故障时，传统的性能监控方案通常需要IT运维人员手动分析监控数据来确定故障原因，这样会浪费大量的时间和精力。而一体化性能监控能够对多种关联的监控数据进行自动分析和处理，帮助IT运维人员快速定位...
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
流水单据型业务场景多活实践
管控配置：进入MSHA控制台进行各层多活资源的配置（接入层域名、URI、SLB、数据层数据同步等）。改造后的应用架构如下图所示。复现故障 改造完成容灾架构后，还需验证容灾能力是否符合预期，接下来将历史故障进行复现，通过制造真实的故障...
故障止损恢复
故障初因定位 集成企业内部可利用的所有稳定性相关数据（变更事件，...通用垂直专项快恢能力：通过集成包括DB侧慢SQL限流、变更极速回滚、多活容灾切流快恢等通用的快恢能力，结合监控、日志等数据自动定位的故障原因进行对应的快恢方式推荐。
混合云应用双活容灾最佳实践
容灾切换数据质量保障难 容灾切换过程中，可能因数据同步延迟导致读到旧数据，以及切换规则推送到分布式应用节点时间不一致等原因可能造成云上云下数据库同时读写而出现脏写的问题，整个切换过程数据质量保障是关键点及难点。无业务代码...
应用故障自动诊断
在EDAS中进入应用总览页面时，会按照您自定义的时间段对该应用的运行情况做一个自动诊断。...数据支持：这一部分包含了得到推测结论的数据支持，不同故障原因的诊断报告中包含的分析数据将不一样。图 1.故障诊断报告示例图-RT诊断
配置任务常见错误码及排查方法
原因：通讯链路故障，JDBC驱动程序数据包成功发送到源数据库服务器，但未收到来自源数据库的数据包。解决方法：排查数据库的连接数是否过多。参考 communications link failure 处理。联系技术支持解决。DTS.Msg.SQLExecuteError....
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
安全性
网络和数据链路 AnalyticDB PostgreSQL版 做为云原生分布式系统拥有非常高的安全性，首先每个新建实例使用专有网络，也称为VPC（Virtual Private Cloud），VPC是一种隔离的网络环境，安全性和性能均高于传统的经典网络。根据使用场景可选择...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的...将严重的数据质量事件升级为故障，并对故障进行定义、等级划分、处理和总结。相关工具链接 DataWorks数据质量管理工具，请参见 数据质量概述。DataWorks智能监控工具，请参见 数据质量概述。
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
API概览
IoT设备端生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。UploadDataToBlockchain 适用于业务系统（数据）上链。业务系统生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL作业开发方式，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...
产品概述
ODATS是具有超过30个专利的自研跨链技术，利用蚂蚁区块链技术，ODATS制定了标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进...
某历史养成类游戏开发公司实时计算和数据仓库方案
3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析；4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
作业开发入门概述
DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据应用层，面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时，需要...
公共规范
层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他层提供数据服务。应用层需要积极配合...
数据资产定级
假设该应用会直接影响整个企业的重要业务决策，您可以定级应用为A2，从而整个数据链路上的表的数据等级，都可以标记为A2-PV_UV_Region。说明 当前MaxCompute暂无配套资产等级打标工具，您可以使用第三方工具完成打标。
数据资产定级
假设该应用会直接影响整个企业的重要业务决策，您可以定级应用为A2，从而整个数据链路上的表的数据等级，都可以标记为A2-PV_UV_Region。说明 当前MaxCompute暂无配套资产等级打标工具，您可以使用第三方工具完成打标。icmsDocProps={'...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL作业开发，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...
故障应急
故障管理体系是围绕故障全生命周期采取的一系列控制流程，包括故障基础数据管理（故障等级定义、应急场景监控覆盖、服务组&值班表管理、故障订阅管理），故障发现（7*24监控值班、智能基线告警），故障应急协同（故障通告及更新、故障应急...
流量回放和压测
此外，在数据库发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。前提条件 源数据库支持：RDS MySQL PolarDB MySQL版 说明 不支持 PolarDB MySQL版 的 企业版 单节点 实例。PolarDB-X 2.0。目标数据库实例...
智能压测
此外，在数据库发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。前提条件 源数据库支持：RDS MySQL PolarDB MySQL版 说明 不支持 PolarDB MySQL版 的 企业版 单节点 实例。PolarDB-X 2.0。目标数据库实例...
引擎简介
同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI引擎 进行有机融合，提供相应的企业级功能。产品优势 流引擎专注产品的云原生、高性能和...
数字农业可信上链最佳实践
本文档以数字农业场景，通过IoT区块链Hub把IoT设备数据中转到阿里云BaaS-Fabric区块链为示例，介绍完成的IoT设备上链流程。场景描述 在该场景中会涉及两类角色：数字农业-管理方。自身拥有区块链物理资源，需要接入其他参与方到IoT区块链...
概述
库仓一站式（Zero-ETL）传统数据仓库，会通过数据ETL方式同步数据，采用MPP/BSP等并行计算架构可以很好解决OLAP复杂查询，但面相高并发的数据在线查询（Serving场景）会有明显的资源并发瓶颈，会通过数据回流到OLTP数据库提供在线查询。...
- 产品推荐
- 这些文档可能帮助您