数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
产品简介
首先，Data Exchange提供了一个集中的数据交换平台，使用户能够浏览和订阅各种数据产品。这些数据产品涵盖了多个行业及领域，包括智能汽车、金融等。用户可以根据自己的需求浏览各种数据集，并选择订阅感兴趣的数据产品。其次，Data ...
RDS与自建数据库对比优势
云数据库RDS提供高可用、高可靠、高安全、可扩展的托管数据库服务，在性能等同于商业数据库的同时，其价格相比ECS自建数据库和自购服务器搭建数据库更加低廉，能够节约大量部署及维护成本。价格对比 费用 云数据库RDS ECS自建数据库 自购...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
消除数据重分布
许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，同时也消耗网络资源。所以应该尽量减少和避免数据交换。首先分析数据库系统的查询模式，确定系统中成本最高...
全球数据库市场发展与机遇
阿里云数据库技术已先后走过了“商业-开源-自研”的演进路线，不断突破数据库技术和应用生态，实现了数据库领域的自主可控。2008年，率先发起“去IOE”战略，采用开源数据库技术替代Oracle数据库，成功解决商业数据库高成本压力和业务支持...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
非持久设置
这消除了所有的数据库磁盘 I/O，但将数据存储限制到可用的内存量（可能有交换区）。关闭 fsync；不需要将数据刷入磁盘。关闭 synchronous_commit；可能不需要在每次提交时强制把 WAL 写入磁盘。这种设置可能会在_数据库_崩溃时带来事务丢失...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
概述
OceanBase 通过 LSM-Tree 的存储架构和自适应压缩技术，解决了传统数据库无法平衡“性能”和“压缩比”的难题，同一业务的存储量仅为 Mysql/Oracle 的 1/4 到 1/3可降低存储成本 70%-90%。更多内容参见 存储架构概述。实时分析 OceanBase ...
功能特性
完整自主知识产权 OceanBase 数据库由蚂蚁集团完全自主研发，不基于 MySQL 或者 PostgreSQL 等开源数据库，技术可靠，不会存在基于开源数据库产品的技术限制问题。高性能 OceanBase 数据库作为准内存数据库，通常只需要操作内存中的数据，...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向云HBase的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
图扑案例
如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据交换/ETL软件（如Apache nifi、Sqoop等）打通多引擎数据交互通道，根据应用场景业务来适配数据。...
备份恢复概览
这种方式不仅备份了数据本身，还包含了数据库对象的逻辑定义及其具体内容。备份内容 OceanBase 数据库的备份恢复功能支持对数据库的数据进行恢复操作，支持的数据包括用户权限、表定义、系统变量、用户信息、视图信息等逻辑数据以及其他...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
行业趋势与背景
本文介绍了数据库行业的发展及 PolarDB-X 的技术发展历程。行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
产品整体介绍
技术架构 以下为 AnalyticDB PostgreSQL版 的架构图，主要包含Master Node和Compute Node两大组件，中间通过Interconnect进行互联通信和数据交换传输。Master Node和Compute Node提供多副本保障服务高可用和数据高可靠，同时均支持通过...
什么是云原生多模数据库Lindorm
开放兼容 兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等 多种标准接口，支持与Hadoop、Spark、Flink、Kafka等系统无缝打通，并提供简单易用的数据交换、处理、订阅等能力。多模介绍 Lindorm支持宽表、时序、对象、文件、队列、...
Delta Lake概述
元数据存储了数据的字段信息，Delta提供了数据导入时数据校验功能，保证数据质量。事务功能使得批式读写和流式读写能够互相隔离。说明 ACID指数据库事务正确执行的四个基本要素的缩写。包含：原子性（Atomicity）、一致性（Consistency）、...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
Dataphin支持的数据源
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了支持接入Dataphin的数据源及在Dataphin中支持的应用场景。若需要查看数据源在各场景中具体...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
应用场景
OceanBase 数据库可以利用分区表特性将数据打散后分布到集群的多个节点上，从而满足一部分的查询需求，之后利用强一致性全局索引功能来满足其它维度的查询和分析需求，在数据库层面实现了数据分片和水平扩展能力，并且对用户透明。...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
概述
业务数据互联互通，打破信息壁垒 公司内部各业务、各部门之间数据独立自主形成了数据孤岛，导致决策层无法清晰、快速地了解公司各类数据情况。如何打破部门或业务领域之间的信息孤岛是企业数据管理的一大难题。数据标准整合，统一灵活对接 ...
技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
使用场景
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
数据模型架构规范
数据模型定义了数据之间关系和结构，使得我们可以有规律地获取想要的数据。例如，在一个超市里，商品的布局都有特定的规范，商品摆放的位置是按照消费者的购买习惯以及人流走向进行摆放的。数据模型的作用 数据模型是在业务需求分析之后，...
资产安全概述
资产安全为Dataphin提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请...
资产安全概述
资产安全为Dataphin提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前...
产品优势
数据库备份DBS 支持多种环境的数据库备份，通过专线接入、公网等接入技术，实现用户本地IDC数据库备份、ECS自建数据库的备份、其他云环境和RDS数据库备份，通过简单地配置实现数据库全量备份、增量备份以及数据恢复。低成本 DBS使用飞天...
自建MySQL应急恢复
数据库备份DBS 提供自建MySQL应急恢复功能，该功能基于Copy Data Management（CDM）技术，通过开启DBS沙箱，您可以快速创建出应急数据库实例（本文称为沙箱实例），使备份数据快速可用。多个沙箱实例之间的读写不会互相影响，也不会影响源...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
基本概念
该方式的优点在于第0层为原始数据分辨率，保持了数据原始的数据信息，而且数据分块速度快，图像更新方便，查询效率高。但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并...
- 产品推荐
- 这些文档可能帮助您