产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
发布包总览概述
您可以在发布包总览页面根据功能板块（规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全），对不同类型、不同状态的待发布对象类型进行发布及管理操作。规划：您可以对规划对象执行发布、查看版本详情（数据源对象类型...
发布包总览概述
您可以在发布包总览页面根据功能板块（规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全），对不同类型、不同状态的待发布对象类型进行发布及管理操作。规划：您可以对规划对象执行发布、查看版本详情（数据源对象类型...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
E-MapReduce支持倚天云服务器
大数据场景下倚天架构与X86架构对比 在相同规格下X86架构的ECS实例和基于倚天架构的ECS实例上进行了基准测试，可以看到在大数据业务场景下倚天架构实例比基于x86架构实例算力性价比更高。降低硬件成本 相比于X86架构ECS实例成本，倚天架构...
创建数据板块
在开始执行操作前，请确认您已将数据板块架构师、业务负责人、数据负责人添加至Dataphin成员列表。具体操作请参见 添加Dataphin成员。使用限制 支持超级管理员和系统管理员新建数据板块。如何获取系统管理员角色请参见 添加Dataphin成员。...
创建数据板块
在开始执行操作前，请确认您已将数据板块架构师、业务负责人、数据负责人添加至Dataphin成员列表。具体操作请参见 配置成员和超级管理员的联系方式。使用限制 支持超级管理员和系统管理员新建数据板块。如何获取系统管理员角色请参见 配置...
创建ID
在 数据架构 页面，单击 标签架构。在标签架构页面，按照下图操作指引，选择 ID管理 页签，并 单击 新增ID。在 创建ID 对话框中，配置ID相关信息。参数 描述 ID名称 填写ID名称。允许中英文、数字、下划线或连字符，64字符以内。ID code ...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
关键大盘
关键大盘提供自定义要查看的监控数据的功能。通过查看关键大盘，您可以快速了解应用的运行状况以及资源实例的使用情况。实时监控中的关键大盘分为 业务大盘 和 应用大盘。业务大盘展示业务相关大盘数据；应用大盘展示应用相关监控指标的...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
产品优势
高可靠和事务完整 数据同步服务内核在蚂蚁内部经历了长达八年的锻造，经过阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单、双十一媒体大屏等众多业务场景的高压锤炼，链路稳定性高达 99.95%。数据同步服务保障事务完整性和...
应用场景
数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云厂商的云数据库、其他云厂商云服务器上自建的数据库）的通用管理方案，实现多云统一的数据库管理服务，架构图如下所示。...
应用场景
数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云厂商的云数据库、其他云厂商云服务器上自建的数据库）的通用管理方案，实现多云统一的数据库管理服务，架构图如下所示。...
数据服务：低成本快速发布API
核心技术与架构 数据服务采用Serverless架构，您只需要关注API本身的查询逻辑，无需关心运行环境等基础设施，数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。计费 使用DataWorks的数据服务功能创建数据API后，API调用请求需...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
Doris概述
统一数仓构建：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。基于Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、Hbase、Phoenix组成的旧架构，架构大大简化。数据湖联邦查询：通过外表的方式联邦分析位于Hive、...
管理标签架构待发布对象
导入的发布包文件中存在标签架构的变更对象时，将在待发布标签架构页面为您展示，您可在待发布标签架构页面对标签架构对象进行管理和发布。待发布标签架构对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 标签架构 页签，...
管理标签架构待发布对象
导入的发布包文件中存在标签架构的变更对象时，将在待发布标签架构页面为您展示，您可在待发布标签架构页面对标签架构对象进行管理和发布。待发布标签架构对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 标签架构 页签，...
应用场景
数据同步服务可在增量数据同步开始之前，回拉历史全量数据，并写入数仓（如大数据计算服务 MaxCompute）。在增量实时同步过程中，记录数据位点信息用于将后续的数仓数据标记完成，下游可依据标记完成时间触发后续的数据分析任务。场景三：...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
基础术语
OceanBase OceanBase 是阿里巴巴与蚂蚁科技独立自主研发的一款分布式关系数据库产品，融合传统关系数据库和分布式系统的优势，具备高可用、高性能、高可扩展性，在功能上兼容 MySQL 等特点，在通用硬件上提供金融级高可用的数据库服务。...
弹性伸缩
在Job类任务、CI/CD、Spark大数据计算、在线应用弹性等场景中可以显著提升应用部署的弹性效率，也可以降低应用的计算成本。传统的HPA(Horizontal Pod Autoscaler)策略在业务量上涨之后开始扩容，会存在滞后的资源供给不能及时补充业务的...
最佳实践
异地容灾和全球多活 异地容灾的基础能力可以通过数据库备份异地恢复的方式实现，但其时效性较差，目前远距离传输的成本已经低到足以支持大数据量的数据实时传输，所以目前异地容灾的实现以实时传输为主。阿里云数据传输DTS的数据同步产品...
设计原则
数据容灾是指在数据中心或服务器发生故障、灾难或意外情况时，能够保证数据的安全性和可用性的一系列措施和策略。数据容灾的目标是确保在不可避免的情况下，数据的完整性、可恢复性和可用性不受到严重影响，以保障业务的持续运行和数据的...
跨境SaaS:深圳市易仓科技有限公司
PolarDB HTAP能力让用户可以在一套 PolarDB 数据库上同时运行OLTP和OLAP型混合负载，在保证现有PolarDB优异的OLTP性能的同时，大幅提升 PolarDB 在大数据量上运行复杂查询的性能，复杂的查询性能相比行存有百倍以上性能提升。客户价值 价值...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
健康检查服务内容说明
架构健康检查的主要针对业务系统和大数据应用的现有架构，通过对各业务系统的主机、网络、存储等各方面的运行参数和指标分析，提供综合的健康检查结果和结论。服务范围不包含：针对架构改造的技术支持；对业务系统和大数据应用的开发；具体...
概述
数据同步服务的内核在阿里巴巴跨域长途实时同步、实时增量分发、分布式数据库、大数据等场景中提供着功能丰富和服务稳定的数据方案，支持着阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单等双十一媒体大屏等众多业务场景。
产品架构
业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入方式，支撑应用数据、消息数据、物联网数据等不同业务类型结构化数据的存储。...
集群架构
云原生内存数据库Tair 提供双副本集群架构实例，可轻松突破Redis自身单线程瓶颈，满足大容量、高性能的业务需求。集群架构支持代理和直连两种连接模式，您可以根据本章节的说明，选择适合业务需求的连接模式。注意事项 云原生 版集群架构不...
产品架构
相比于传统关系模型，LindormTable除了支持预定义字段类型外，还可以随时动态添加列，而无需提前发起DDL变更，以适应大数据灵活多变的特点。同时，LindormTable支持全局二级索引、倒排索引，系统会自动根据查询条件选择最合适的索引，加速...
升级数据库大版本
支持升级的数据库大版本 云数据库 MongoDB 版 控制台可以直接升级数据库大版本，但不同产品架构、不同版本的实例支持升级的版本不同，具体情况如下：产品架构 规格类型 实例的数据库大版本 可升级到的数据库大版本 单节点架构 通用型云盘版...
MongoDB数据库大版本升级说明
云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分片集群架构）自建数据库MongoDB版（分片集群架构）迁移至云数据库MongoDB版（副本集架构...
构建数据仓库
构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业适用。方案优势：阿里巴巴大数据最佳实践，高性能、低成本、Serverless服务，免运维、全托管模式，让企业的大数据研发人员更聚焦在业务数据的开发、生产、治理。产品组合：...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
全场景解决方案
金融级分布式架构，快速迭代、弹性扩展 经济性：高可靠、高性能、低成本，灵活扩展 方案优势 金融级云原生架构体系 技术上引入阿里“全家桶”云原生架构技术体系，包括飞天平台、企业级分布式架构平台、OceanBase 数据库、大数据平台、移动...
- 产品推荐
- 这些文档可能帮助您