大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
自动快照概述
自动快照功能通过自动快照策略实现，可以为数据库文件系统周期性地创建快照备份数据，合理利用自动快照能提高数据安全和操作容错率。应用场景 自动快照策略可以在预设的时间点周期性地创建快照，保护文件系统数据，是系统安全性和容错率的...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
常见问题
A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major compaction 周期默认为20天。例如，冷热分界线为3天，则默认1.5天就会自动...
SQL回放
当源端OLTP库的数据迁移到目标端OLAP库后，您可以使用 数据管理DMS 的SQL回放功能，查看源端SQL在目标端的兼容性及SQL性能对比的结果，帮助您提升OLAP库的测试效率。背景信息 OLTP是传统关系型数据库的主要应用，主要用于基本和日常的事务...
通用云盘IO加速功能技术介绍
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
通用云盘IO加速功能
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
通用云盘IO加速功能
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
通用云盘IO加速功能
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
快照概述
什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上基于云盘快照，对某个文件系统打快照相当于对该文件系统所部署的所有云盘同时打快照。文件系统第一份...
IoT数据自动化同步至云端解决方案
下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute...
分析业务过程
为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完企业的工作职责范围（部门）后，借助工具通过逆向工程抽取业务系统的真实...
分析业务过程
为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括技术、数据、系统环境等。在分析企业的工作职责范围（部门）后，您也可以...
分析业务过程
为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括技术、数据、系统环境等。在分析企业的工作职责范围（部门）后，您也可以...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
Napatech案例
云原生多模数据库 Lindorm 助力Napatech大幅提升存储、索引性能。生态合作伙伴介绍 Napatech公司（OSE：NAPA.OL）是一家提供FPGA解决方案的丹麦公司，成立于2003年。公司总部位于丹麦，销售和支持的...集成第三方大数据系统，助力业务分析。
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
功能简介
通过数据质量监控报告，查看系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个方面构建数据质量指标体系，来实现对数据质量的量化评估。完整性：数据完整性是指一个数据...
功能简介
通过数据质量监控报告，查看系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个方面构建数据质量指标体系，来实现对数据质量的量化评估。完整性：数据完整性是指一个数据...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
产品简介
大数据搬站迁云方案咨询 为客户提供原大数据系统上云迁移方案咨询服务，包括云上大数据搬站架构规划、设计迁云方案服务。大数据专家高阶培训 提供针对大数据建设、管理、治理相关的高阶能力培训，涵盖离线/实时数仓体系建设管理、数仓建模...
客户案例
客户诉求 帮助企业和开发者解决数据系统独立，无法融合分析的问题。帮助企业和开发者解决BI分析系统灵活性与业务可用性难以平衡的问题。解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
基本概念
实例所占用的磁盘容量除集合数据外，还有实例正常运行所需要的空间，如系统数据库、数据库回滚日志、重做日志、索引等。请确保云数据库MongoDB实例具有足够的磁盘容量来存储数据，否则可能导致实例被锁定。若因磁盘容量不足导致实例被锁定...
实时同步任务延迟解决方案
说明 实时同步任务从一个系统读数据，并将数据写入另一个系统，当写数据比读数据慢时，则读数据一侧的系统会受到反压，导致速度变慢。即造成瓶颈的系统可能会由于反压导致另一侧系统的一些异常，此时要优先关注造成瓶颈的系统的异常情况。...
基本概念
地理系统 TwinFabric数字孪生系统支持常见的地理信息系统数据源接入，满足实景三维中国建设技术大纲中部分地形级实景三维、城市级实景三维、部件级实景三维数据源的接入，支持基于球面、平面三维场景搭建与地理信息多源数据的融合与开发。...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
空间管理
数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能，可以分层监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...
空间管理
自治服务的空间管理功能提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等，帮助您从各个维度了解...
CREATE DATABASE
默认情况下，新数据库将通过克隆标准系统数据库 template1 被创建。可以通过写 TEMPLATE name 指定一个不同的模板。特别地，通过写 TEMPLATE template0 你可以创建一个原始的数据库（其中没有用户定义的对象存在并且系统对象没有被更改），...
基本概念
数据库实例：数据库实例是在云中运行的独立数据库环境。一个数据库实例可以包含多个由数据库用户创建的数据库，并且...索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
新零售：特步
基于 PolarDB-X+RDS的分布式数据库解决方案提升了客户业务系统数据读写的扩展能力和数据存储的扩展能力，系统具备100 TB数据存储的能力、10万TPS、百万QPS的支撑能力，可以支撑业务扩展至当前业务量的5~10倍。PolarDB-X 的平滑扩容和弹性...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
- 产品推荐
- 这些文档可能帮助您