数据建模
本文介绍Lindorm时序引擎数据建模的过程。创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认...时序引擎底层数据存储实现了对多值模型数据的存储优化，建议您将单值模型更改为多值模型，让数据读取更加高效。
MapReduce
Key值和Reduce Worker是多对一的关系，具有相同Key的数据会被发送给同一个Reduce Worker，单个Reduce Worker有可能会接收到多个Key值的数据。在进入Reduce阶段之前，MapReduce框架会对数据按照Key值排序，使得具有相同Key的数据彼此相邻。...
如何支持超大事务
在分布式数据库中，超大事务一般满足以下条件中的一个或多个：事务修改的数据涉及多个分片；事务修改的数据量比较大；事务执行的SQL语句比较多。下面通过以下场景的测试，以这三个维度为切入点，介绍 PolarDB-X 对超大事务的支持情况。测试...
技术原理
读取时，如果查询操作的数据涉及多个分区，PolarDB-X首先会获取全局时钟作为读取版本，对每行数据的MVCC多版本进行可见性判断，确保读到全局一致的数据版本。分布式事务也是许多分布式特性的基础，例如：对于读写分离，数据的事务多版本...
时空数据库版本发布记录
增强 ST_3DContains 函数，支持solid meshgeom对单个点包含关系的快速判断。缺陷修复 修复 ST_makeTrajectory 使用起始时间和终止时间创建只有两个点的轨迹时，会导致崩溃的问题。5.4 类别 说明 新增特性 新增 ST_ClusterDBSCAN 函数，支持...
时空数据库版本发布记录
增强 ST_3DContains 函数，支持solid meshgeom对单个点包含关系的快速判断。缺陷修复 修复 ST_makeTrajectory 使用起始时间和终止时间创建只有两个点的轨迹时，会导致崩溃的问题。5.4 类别 说明 新增特性 新增 ST_ClusterDBSCAN 函数，支持...
PolarDB死锁
背景信息 死锁是关系型数据库系统中最为常见的错误，出现在不同事务中同时对某些数据访问加锁时，都要等待对方请求中的数据而无法获取锁。数据库系统会自动牺牲回滚代价最小的事务，从而导致对应的写请求失败。更严重的情况是在大量死锁...
核心概念
在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以数据板块与项目的关系为1:N。例如，某企业的业务涉及零售和文娱，且业务数据相互独立，则零售和文娱就可以划分为两个数据板块。...
使用Kafka客户端消费订阅数据
将实际消费的最后一条订阅数据的时间位点（timestamp），设置为下一次订阅的初始位点，实现方法的主要内容如下所示：try{/do some action } catch(ClusterSwitchListener.ClusterSwitchException e){ reset();}/重置位点 public reset(){ ...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
同步时源库为Oracle的注意事项及限制
关于数据类型映射关系的更多信息，请参见 结构初始化涉及的数据类型映射关系 暂不支持同步触发器。建议您删除源库的触发器，否则可能会因触发器导致数据不一致。若您需要同步触发器，详情请参见 源库存在触发器时如何配置同步作业。DTS会...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
依赖关系
本文为您介绍依赖关系的相关问题。配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
WAL日志并行回放
原理介绍 概述 一条WAL日志可能修改多个数据块Block，因此可以使用如下定义来表示WAL日志的回放过程：假设第 i 条WAL日志LSN为 LSN i ，其修改了 m 个数据块，则定义第 i 条WAL日志修改的数据块列表 Block i =[Block i,0 ,Block i,1 ...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
区域翻牌器
图表样式 区域翻牌器是折线图的一种，与区域图相比，区域翻牌器支持多个系列的数字翻牌器展示，同时也支持自定义y轴区间和多系列数据配置，能够以折线和区域相结合的方式，智能地展示多维的实时数据的变化趋势。样式面板 搜索配置：单击 ...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
版本及存储引擎
本文介绍云数据库MongoDB支持的版本、引擎及版本和引擎之间的适配关系，帮助您选择适合您的业务需求的实例。支持版本 云数据库MongoDB支持如下版本：说明 您可以在实例运行期间手动升级数据库版本，但版本升级后不支持降级。详情请参见 ...
新建视图
概述 视图是一个虚拟表，其结构和内容是由一张或多张表中的部分数据组成并通过 SELECT 查询语句获取，本身并不包含数据。视图作用 简化数据查询操作：视图能够将数据库中不同表中所需的数据组合成一个单表，利用视图，将多表查询转换成视图...
通过DTS导入数据
DTS支持迁移全量数据及增量数据，您可以通过DTS迁移MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）同步或迁移至 云数据库 SelectDB 版，并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
RDS MySQL同步至Elasticsearch
术语及概念对应关系 Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的组织和结构（Schema）操作步骤 进入...
2023年
ListJobInfos-查看作业列表 2023-12-04 新增SKEWJOIN HINT 新说明 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过...
RDS MySQL迁移至AnalyticDB MySQL 3.0
说明 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量迁移 DTS将源库中迁移对象的存量数据，全部迁移到目标库...
功能发布记录 2022年之前
数据地图>数据发现 支持自动及批量创建元数据采集器，帮助您在数据地图中快速查看表的内部结构及与表相关的关联关系。2021.02.17 全部地域。采集元数据 迁移助手支持Airflow。迁移助手支持将Airflow调度系统中的任务迁移至DataWorks。2021....
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
新旧版本使用指引
ListImages-获取媒体集中的图片列表 ListVideos-获取多个视频的信息 人脸聚类 CreateFigureClusteringTask-创建人物聚类任务 CreateGroupFacesJob-人脸聚类-CreateFigureClustersMergingTask-合并人物聚类 CreateMergeFaceGroupsJob-合并...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
概述
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
API概览
本产品（数据管理/2018-11-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过...
资产安全概述
数据分类 数据分类是对数据使用领域的设定，用于辅助对数据的敏感程度进行区分（例如公司业务数据较敏感，但是生产车间的传感器数据不敏感）。Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者...
资产安全概述
数据分类 数据分类是对数据使用领域的设定，用于辅助对数据的敏感程度进行区分（例如公司业务数据较敏感，但是生产车间的传感器数据不敏感）。Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者...
API概览
UnbindEndpoint 取消关联数据集加速端点 取消挂载点关联和指定数据集加速槽的关联关系。ListEndpoints 获取数据集加速端点列表 获取数据集加速槽挂载点的信息列表。DescribeEndpoint 获取数据集加速端点详情 获取指定数据集加速槽挂载点的...
资产全景及目录概述
支持表级及字段级血缘展示，通过数据血缘关系，获取数据生产的全链路信息，为您解决找数难、理解数据难的问题。支持在个人数据中心快捷查看自己所负责的资产。名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的...
资产全景及目录概述
支持表级及字段级血缘展示，通过数据血缘关系，获取数据生产的全链路信息，为您解决找数难、理解数据难的问题。支持在个人数据中心快捷查看自己所负责的资产。名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的...
什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
数据模型架构规范
数据模型定义了数据之间关系和结构，使得我们可以有规律地获取想要的数据。例如，在一个超市里，商品的布局都有特定的规范，商品摆放的位置是按照消费者的购买习惯以及人流走向进行摆放的。数据模型的作用 数据模型是在业务需求分析之后，...
- 产品推荐
- 这些文档可能帮助您