质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
Github实时数据同步与分析
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
功能发布记录 2022年之前
数据服务API资产（向导、脚本、注册等类型API）已接入数据地图，支持企业场景和全局范围的数据接口查找及管理，包括全局API检索、热门API统计、独立API详情页、各数据源下的API分布等产品功能。2021.09.30 全部地域。数据服务API 查看API...
深度解析Lindorm搜索索引（SearchIndex）特性
存储引擎层每个KV都有时间戳，如果业务写入时没有显示的设置，服务端会自动设置为系统时间戳，遵循"时间戳大的优先可见"的原则。业务自定义时间戳的写入，在构建索引时需要获取到所有的历史数据（包括删除的数据），才能准确判断当前的写入...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
概述
事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据（包括：数据、特征和模型）服务来解决这种割裂状态，大大减少数据驱动的智能...
分析数据
DataWorks的电子表格为您提供丰富、便捷的数据分析操作，其操作与Office Excel高度一致，大大降低您的学习成本。前提条件 已创建并导入数据至电子表格。详情请参见 创建电子表格 和 导入数据至电子表格。背景信息 您可以在电子表格的编辑...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
会话管理
应用与数据库的连接被称为一个会话，在集群诊断的 会话管理 页中，您可以查看数据库当前所有会话，包括活跃会话和空闲会话。也可以通过 租户会话、会话统计、死锁检测 三个子页签进行进一步查看。租户会话：展示当前时刻活跃和空闲的会话。...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 升级数据库大版本：升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用...
监控
登录 云原生数据仓库AnalyticDB MySQL控制台，在集群 监控信息 页的 表信息统计 页签下查看表大小等信息。监控信息页面看到热数据使用量比总数据使用量还多，是什么原因？AnalyticDB for MySQL 集群中包含多个存储节点，磁盘数据使用量是指...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
建表并上传数据
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
租户设置
通过创建多个租户，可以对不同租户分配不同的数据单元以及功能模块，并能够保证租户间数据隔离，满足不同租户的不同要求。本文为您介绍如何新建、编辑、删除以及恢复租户。权限说明 仅元仓租户的超级管理员与系统管理员支持新建及管理租户...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
时序异常检测
例如新插入的时序数据有一个非常大的尖刺，检测结果可能为异常。时序异常检测搭配 SAMPLE BY 语句可以实现以下功能：搭配 SAMPLE BY 0 子句，针对每条时间线上的数据逐点检测。使用示例，请参见 示例一、示例二 和 示例三。在 SAMPLE BY ...
常见问题
需要重点关注的参数有：partitions：如果只有HASH分区，建议将分区数量 partitions 设置为较大的值，例如64、128等，可以使数据分布至更多的分区。数据查询时，如果查询语句通常会携带分区字段，那么系统只需要在某一个或某几个分区中查找...
可观测性能力
您可以通过 实时Top Key统计 功能，帮助定位热Key与大Key，实时Top Key统计 功能支持实时展示实例中的热Key和大Key信息，同时支持查看4天内大Key和热Key的历史信息。实时Top Key统计 功能准确性高，且对性能几乎无影响，帮助您掌握Key在...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
列存索引如何实现高效数据过滤
minmax索引的优点是它可以在非常快的时间内处理非常大的数据集。它能够减少为了处理查询而必须扫描的数据量，因为它只需要处理与查询范围相关的数据块。另外，minmax索引有助于减少存储索引所需的空间，因为它只需要存储每个块的最小值和...
API概览
DescribeSqlLogStatistic 查询DAS企业版数据统计信息 调用DescribeSqlLogStatistic接口，查询DAS企业版的数据统计信息。GetDasSQLLogHotData 查询DAS企业版（V2或V3）热存储数据明细 调用GetDasSQLLogHotDat接口，查询数据库实例7天内DAS...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
调优集群性能
您可以通过 一键诊断 功能来定位存在问题的查询：Bad SQL检测结果中，高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL，都可能导致集群的CPU使用率增高，需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...
- 产品推荐
- 这些文档可能帮助您