构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
应用场景
实时数仓 该场景需要在一个平台上提供统一的在线查询和离线计算的能力，简化数据架构，降低开发和运维成本。通过弹性伸缩支持更合理的资源配比，减少非高峰期的保有资源，优化成本，提高性价比。该场景可实现：在离线一体化 支持数据实时增...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
选择连接工具
本文为您介绍连接并处理MaxCompute项目数据工具的应用场景、运行环境要求以及使用指引。您可根据业务需要和相应准备的环境，选择合适的连接工具。前提条件 已创建MaxCompute项目。更多创建MaxCompute项目操作，请参见 创建MaxCompute项目。...
产品架构
本文介绍 云原生多模数据库 Lindorm 的产品架构，包括业务背景和总体结构。业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化...
Delta Table概述
上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
创建Vertica数据源
权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 新建数据源 对话框。在 新建数据源 对话框的 关系型数据库 ...
创建Vertica数据源
权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 新建数据源 对话框。在 新建数据源 对话框的 关系型数据库 ...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
概述
通过分布式链路跟踪，运维人员、开发人员和架构师能看清楚复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
典型客户案例
解决方案 2017 年，南京银行引入蚂蚁金服（去掉）金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase，以及大数据平台能力，构建新的互联网金融核心，并于同年 11 月上线互联网金融平台“鑫云+”。客户收益“鑫云+...
容量规划
也有部分公司会存在更大的数据容量和数据挖掘需求，同时会引入分布型数据库，分析型数据库和大数据库分析工具等。完成数据库选型后，需要针对业务特性了解不同数据库所需要关注的指标，以常见的MySQL和Redis数据库为例，主要需要关注到业务...
最佳实践
数据库容灾最佳实践 数据库备份 阿里云数据库具备数据库的备份恢复能力，除了小部分海量数据产品需要手工开启备份恢复功能外（如ClickHouse、Lindorm），其余常见数据库产品已默认开启数据库的自动备份，在数据库进行备份后，可利用现有...
基础架构安全实施最佳实践
网络架构设计最佳实践 阿里云基于大量的网络架构设计，结合不同行业业务特点和网络需求，提供网络架构设计的最佳实践。如企业级云上网络分区分域设计、云上同城/异地容灾网络设计、DMZ-VPC区域设计、VPC东西向流量隔离和管控设计、云上云下...
DataWorks V3.0
发布版本：DataWorks V3.0 发布时间：2019年12月18日 发布范围：全球所有已开通DataWorks的地域 发布内容：DataWorks V2.0仅支持MaxCompute计算引擎，DataWorks V3.0全新升级了多引擎架构，在MaxCompute的基础上，新增开源大数据引擎E-...
设计原则
数据容灾是指在数据中心或服务器发生故障、灾难或意外情况时，能够保证数据的安全性和可用性的一系列措施和策略。数据容灾的目标是确保在不可避免的情况下，数据的完整性、可恢复性和可用性不受到严重影响，以保障业务的持续运行和数据的...
产品架构
PolarDB-X 1.0 承担着OLTP在线核心数据库的职责与定位，可与数据集成、数据传输，缓存、大数据生态配合使用。产品架构图 内核架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分。如同...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
保险行业解决方案与案例
推动技术架构和技术标准的统一，实现系统间整合和内通外联，同时，基于大后台+小前端移动互联布局，联合信创合作方，攻克多项技术难题，在业内率先建设信创混合云，其中数据库是整体分层架构中的关键组成部分，也是信创工作中的重点和难点...
概述
数据驱动 数据研发流程体系化，数据质检手段工具化、多样化，数据环境稳定多样，从规划、设计、实现、部署、维护、下线六个阶段监控和度量服务数据，更高效、稳定地进行架构治理。快速构建应用 脚手架模块提供集成中间件依赖的 SOFABoot ...
什么是云原生数据库PolarDB分布式版
数据集中存储 场景描述：该场景也称"数据大集中"或"数据归集"，属企业数据架构中的ODS层，具有承担各垂直业务数据源的数据汇总功能。高并发写入、大容量存储、多维度查询、低成本流出是该场景的主要诉求。产品能力：透明分布式、HTAP一体化...
公网直连方案
网络架构 数据库公网直连Dataphin的网络架构如下：操作步骤 步骤一：添加数据源 沙箱 白名单 登录 Dataphin管理控制台。在Dataphin管理控制台，选择工作区地域并单击 进入Dataphin>>。在Dataphin首页，单击顶部菜单栏 规划。按照以下操作...
功能特性
云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠...通过数据传输可实现不停服数据迁移、数据异地灾备、跨境数据同步、缓存更新策略等多种业务应用场景，助您构建安全、可扩展、高可用的数据架构。
确定需求
需求分析 在未考虑数据分析师、业务运营人员的数据需求的情况下，单纯根据业务调研建设的数据仓库，可能可用性较差。完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度思考和分析，并改进数据仓库。需求分析的途径有...
产品架构
架构图 组件说明 应用系统和客户端 应用系统和客户端是您访问 云数据库 SelectDB 版 的产品或工具。由于SelectDB兼容MySQL连接协议和标准SQL语法，所以MySQL生态的命令行工具、JDBC、ODBC驱动和可视化工具等，都可连接访问 云数据库 ...
基于Delta Table构建近实时增全量一体化链路实践
MaxCompute推出近实时增全量一体化架构，支持丰富的数据源，并通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量处理链路和大规模离线批量...
集群版-双副本
云数据库Redis版提供双副本集群版实例，可轻松突破Redis自身单线程瓶颈，满足大容量、高性能的业务需求。集群版支持代理和直连两种连接模式，您可以根据本章节的说明，选择适合业务需求的连接模式。注意事项 云原生 版集群架构不支持同时...
持续架构优化
有些企业在最初上云的时候，通过迁云的工具将应用和数据从原有数据中心迁移到云上。这些应用没有采用云原生的架构，无法利用云原生在弹性、韧性、安全、可观测性、灰度等优势，没有释放云的最大优势和效能。通过分析后发现这些业务，随着...
资源使用优化
数据库选型 不同业务场景对应的数据库产品以及规格不尽相同，如关系型数据库典型的在线事务处理业务，面向交易系统，行数据会以增删改的方式在数据库中进行数据的更新处理操作，实时性高、稳定性强、确保数据及时更新成功。又如非关系型...
连接数据访问代理
第三方工具 数据访问代理遵循 MySQL 标准交互协议，所以支持第三方工具的连接和使用。说明 数据访问代理完全兼容 MySQL 官方命令行客户端（版本 5.1+）。数据访问代理不支持 MySQL 的历史版本（如 3.x、4.x 等版本）的指令和不常用指令，...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
快速玩转Tablestore入门与实战
TableStore时序数据存储-架构篇 基于Tablestore实现海量运动轨迹数据存储 药品监管系统架构揭秘：海量溯源数据存储与查询 基于Tablestore实现海量摩托车的轨迹管理 超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是...
全场景解决方案
金融级分布式架构，快速迭代、弹性扩展 经济性：高可靠、高性能、低成本，灵活扩展 方案优势 金融级云原生架构体系 技术上引入阿里“全家桶”云原生架构技术体系，包括飞天平台、企业级分布式架构平台、OceanBase 数据库、大数据平台、移动...
序言
在数字化转型的过程中，我们建议金融机构的技术决策者，预先考虑可靠的基础设施和弹性应用数据架构，在不同业务压力下依旧保证业务连续性和数据安全。而且在金融级交易系统中，对事务型的状态数据一致性处理以及交易成本的要求更高，对客户...
产品优势
云数据库MongoDB版（ApsaraDB for MongoDB）是阿里云基于飞天分布式系统和高可靠存储引擎研发的完全兼容MongoDB协议，并支持多节点高可用架构、弹性扩容、容灾、备份恢复、性能优化等功能的文档数据库服务。灵活的部署架构 云数据库MongoDB...
技术架构
闭环的生态工具：数据管理DMS，基于阿里巴巴集团十余年的数据库服务平台的云版本，提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的Web数据库管理终端，可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库...
使用限制
将ECS上单节点或副本集架构的自建MongoDB迁移上云 使用DTS迁移单节点架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至单节点实例 第三方云数据库迁移至云数据库MongoDB。使用DTS将华为云文档数据库迁移至阿里云 云数据库...
- 产品推荐
- 这些文档可能帮助您