国产化支持
随着国际环境日益复杂，很多线下客户都提出了国产化的技术诉求，和数据库相关的国产化包括芯片的国产化、操作系统的国产化、数据库系统的国产化。针对数据库系统国产化，主要技术挑战有：基于国产化芯片的数据库架构升级和改造、对国产化...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
划分数据域
通常，您需要阅读各源系统的设计文档、数据字典和数据模型，研究逆向导出的物理数据模型。进而，可以进行跨源的主题域合并，跨源梳理出整个企业的数据域。数据域是指面向业务分析，将业务过程或者维度进行抽象的集合。为保障整个体系的生命...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
产品概述
原子化的数据安全能力已无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了不同层面的弊端，因此全密态数据库得到了快速发展和行业...
产品概述
原子化的数据安全能力已无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了不同层面的弊端，因此全密态数据库得到了快速发展和行业...
产品概述
原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了不同层面的弊端，因此全密态数据库得到了快速发展和行业...
合规&认证
ISO/IEC 27018 又称“云隐私保护认证”，由英国标准协会（下称“BSI”）制定，主要针对云服务商对云中个人数据的安全防护的国际标准认证，是目前国际上权威、严格、被广泛接受和应用的信息/隐私保护管理体系认证。个人信息保护 瓴羊智能...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
概述
OceanBase 通过 LSM-Tree 的存储架构和自适应压缩技术，解决了传统数据库无法平衡“性能”和“压缩比”的难题，同一业务的存储量仅为 Mysql/Oracle 的 1/4 到 1/3可降低存储成本 70%-90%。更多内容参见 存储架构概述。实时分析 OceanBase ...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
数据库采集器问题
采集主要收集数据库本身记录的一些统计信息，主要的数据量来自数据库对象的DDL和记录的历史SQL文本信息，所有大小取决于客户的对象数量、大小和SQL文本大小，一般都不会超过1G。终端提示“connection to database fail,please check ...
列存索引（IMCI）发布说明
简介 当前主要面向OLTP场景，广泛应用于在线业务，日常产生大量的数据。但是，基于行存的查询性能并不能满足所有应用场景的需求。通常情况下，为了实现复杂分析型查询，需要将数据从 PolarDB MySQL版 导出，然后导入到外部专用的OLAP系统中...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
X-Engine简介
Engine的架构和优化技术已经被总结成论文《X-Engine:An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing》，在数据管理国际会议SIGMOD'19发表，这是中国内地公司首次在国际性学术会议上发表OLTP数据库内核...
技术架构
如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，应用了多种传统单机数据库优化和执行技术。...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
概述
从层次结构方面来看，列存引擎节点采用Delta+Main（类LSM结构）二层模型，采用了标记删除的技术，确保了行存和列存之间实现低延时的数据同步，可以保证秒级的实时更新。数据实时写入到MemTable，在一个group commit的周期内，会将数据存储...
参数诊断
背景 在数据库领域，优化数据库性能是工业界和学术界最重要的研究方向之一。除了针对SQL请求（索引优化等）的优化、用户业务层面的优化之外，针对数据库参数的调优是另一个行之有效的数据库性能优化方案。前提条件 数据库实例为 RDS MySQL ...
参数诊断
背景 在数据库领域，优化数据库性能是工业界和学术界最重要的研究方向之一。除了针对SQL请求（索引优化等）的优化、用户业务层面的优化之外，针对数据库参数的调优是另一个行之有效的数据库性能优化方案。前提条件 数据库实例为 RDS MySQL ...
概述
简介 当前主要面向OLTP场景，广泛应用于在线业务，日常产生大量的数据。但是，基于行存的查询性能并不能满足所有应用场景的需求。通常情况下，为了实现复杂分析型查询，需要将数据从 PolarDB MySQL版 导出，然后导入到外部专用的OLAP系统中...
产品架构
这些物理执行单元直接在指定的BE节点上执行，实现了数据计算的本地化，避免了不必要的数据传输和复制，从而极大的提升了查询性能。尽管存算一体架构在查询性能上具有显著优势，但也存在一些局限性：成本高：为了确保数据的可靠性，BE节点...
浮框层
图表样式 浮框层是3D球形地图的子组件，支持独立的样式和数据配置，包括浮框的大小、颜色、内容以及经纬度等，适用于将地理位置上的某些具体信息以浮框的形式展示在大屏上。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索...
PolarDB MySQL版CPU使用率高
CPU作为数据库最核心的资源，是日常运维中需要重点关注的对象。CPU用满，会导致应用RT增高、业务卡顿，更严重会导致数据库实例hang死、发生HA等问题，严重影响现网业务。正常情况下，对于CPU的监控需要设定安全水位，超出安全水位时要及时...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
场景：工作空间模式升级（简单模式升级标准模式）
了解创建并绑定数据源的相关内容，详情请参见 创建并管理数据源、开发前准备：绑定数据源或集群。使用限制 仅支持阿里云主账号执行工作空间模式升级操作。升级策略 工作空间模式升级后，平台会基于原简单模式工作空间的生产环境数据源，...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
关键概念
butterflies 和 honeybees 都是field key，butterflies 列和 honeybees 列中的数据是field value，location 和 scientist 都是tag key，location 列和 scientist 列中的数据是tag value。name:census time butterflies honeybees location ...
参数诊断
背景 在数据库领域，优化数据库性能是工业界和学术界最重要的研究方向之一。除了针对SQL请求（索引优化等）的优化、用户业务层面的优化之外，针对数据库参数的调优是另一个行之有效的数据库性能优化方案。前提条件 数据库实例为RDS MySQL 5...
Cost-based SQL诊断引擎
和其它公司一样，在阿里巴巴业务场景下，大部分业务跟数据库有着非常紧密的关系，数据库一个微小的抖动都有可能对业务造成非常大的影响，如何让数据库更稳定，得到持续优化一直都是非常重要的诉求。数据库环境下的业务优化，通常涉及三个...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
DataWorks数据服务对接DataV最佳实践
数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的TB、PB和EB级数据仓库解决方案。当今社会数据收集的方式不断丰富，行业数据大量积累，导致数据规模已增长到传统软件行业无法承载的海量级别。MaxCompute服务...
独享数据服务资源组
为保证用户创建并封装在数据服务中的API在被外部应用调用时，能达到高QPS以及满足可用性保障，企业需要使用独享数据服务资源以确保调用的高效和可靠。独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，...
常见问题
如果您想要更深入地了解搜索索引的技术细节，请参见 如何破解HBase+Elasticsearch组合使用遇到的难题 和 深度解析Lindorm全文索引（SearchIndex）特性。搜索索引的适用场景有哪些？搜索索引主要适用于以下几种场景：查询时需要检索的列较多...
MaxCompute表数据
申请和管理表权限 表技术信息 用于查看 DDL最后变更时间、最后数据变更时间 和 最后查看时间。说明 最后查看时间：统计的为表的最后访问时间，其访问包括手动执行命令访问该表数据和任务调度场景下访问该表数据。此数据仅供参考，不能百分...
- 产品推荐
- 这些文档可能帮助您