行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
MySQL只读实例简介
在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
读取优化
其实HBase还是比较灵活的，关键看你是否使用得当，以下主要列举一些读的优化。HBase在生产中往往会遇到Full GC、进程OOM、RIT问题、读取延迟较大等一些问题，使用更好的硬件往往可以解决一部分问题，但是还是需要使用的方式。我们把优化...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
配置数据库代理连接地址访问策略
开通RDS MySQL数据库代理后，因实际业务需要，您可能需要调整开通代理时默认的代理连接地址访问策略（原配置代理终端）。本文为您介绍代理连接地址访问策略各配置项的含义及配置方法。前提条件 已开通数据库代理 配置代理连接地址访问策略 ...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
数据风险点监控
本文为您介绍在线数据风险点监控和离线数据风险点监控。在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请...
事务隔离
事务隔离级别 隔离级别 脏读 不可重复读 幻读 序列化异常 读未提交 允许，但不在 PG 中 可能 可能 可能 读已提交 不可能 可能 可能 可能 可重复读 不可能 不可能 允许，但不在 PG 中 可能 可序列化 不可能 不可能 不可能 不可能 在本数据库...
TSDB全量迁移至时序引擎
本文介绍时间序列数据库（Time Series Database，简称TSDB）全量迁移至 云原生多模数据库 Lindorm 时序引擎的方法。前提条件 已安装Linux或者macOS操作系统，并且安装以下环境。已安装Java环境，版本为JDK 1.8及以上。已安装Python环境，...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
常见问题
A：PolarDB 是一个关系型数据库云服务，目前已在全球十多个地域（Region）的数据中心部署，向用户提供开箱即用的在线数据库服务。PolarDB 目前支持3种独立的引擎，分别可以100%兼容MySQL、100%兼容PostgreSQL、高度兼容Oracle语法，存储...
从PolarDB MySQL版迁移至RDS MySQL
阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 ...
数据组织优化
解决方案 Clustering服务主要由MaxCompute内部的Storage Service来负责执行，专门解决小文件合并的问题，但它并不会改变任何数据的历史中间状态，即不会消除任何一条记录数据的中间历史状态。Clustering服务流程 Clustering服务的整体操作...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
什么是PolarDB MySQL企业版
PolarDB MySQL版 是阿里巴巴自研的云原生HTAP数据库。PolarDB MySQL版 100%兼容原生MySQL的多个版本，包括MySQL 5.6、MySQL 5.7和MySQL 8.0。PolarDB MySQL版 的企业版基于云原生架构、计算存储分离、软硬件一体化设计，为用户提供具备超高...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
Lindorm for Cassandra应用实践
云原生多模数据库 Lindorm 简介 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
从PolarDB MySQL版迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至自建MySQL数据库，可用于数据分析、业务功能测试等场景。前提条件 为满足增量数据迁移的要求，源 PolarDB MySQL版 集群需开启Binlog，详情请参见 如何...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
从MaxCompute迁移至RDS MySQL
确保您已完成以下操作：开通MaxCompute 创建项目空间 设置阿里云产品访问MaxCompute白名单 注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
从RDS MySQL迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL迁移至自建MySQL数据库，适用于数据分析、业务功能测试等场景。前提条件 RDS MySQL中的待迁移的表需具备主键或者唯一性非空索引。自建MySQL数据库的存储空间须大于RDS...
多可用区部署
事实上，绝大部分的业务都能接受读取100 ms前的数据，而且Lindorm的客户端支持就近读写，如果用户的读写客户端在同一可用区，大部分情况下客户端读到的都是最新数据（没有因为毛刺或者机器终止工作导致当前可用区的partition不可用或者超时...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
功能特性
MaxCompute数据导入 导出至MaxCompute Hive数据源 AnalyticDB for MySQL支持通过数据迁移功能将Hive元数据和数据一键迁移至OSS。Hive数据导入 HDFS数据源 AnalyticDB for MySQL支持通过外表、DataWorks两种方式将HDFS数据导入至数仓版或湖...
企业版和标准版功能对比
支持 支持 全密态 PolarDB MySQL版 提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。支持 支持 连接管理 连接池 PolarDB 支持会话级连接池和事务级...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
术语
本文介绍 云原生数据库PolarDB 使用过程中遇到的术语。名词 描述 地域（Region）数据中心所在的地理位置。可用区（Zone）可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（Cluster）...
一致性级别
但是当数据库负载很高时，例如对大表执行DDL（如加字段）操作或大批量插入数据的时候，延迟会非常严重，从而导致无法从只读节点中读取最新数据。MySQL的读写分离代理功能无法解决由于延迟导致的查询不一致问题。PolarDB 采用了异步物理复制...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
- 产品推荐
- 这些文档可能帮助您