减灾与应急时空解决方案与案例
技术方案 矢量数据、遥感影像数据、气象灾害业务数据等多源数据一体化管理。完全架构于云上，总体采用数据存储层、业务服务层和应用层三层架构。底层采用云原生数据库 PolarDB PostgreSQL版（兼容Oracle）+Ganos时空数据库引擎形成坚实底座...
互联网教育：尚学博志（上海）教育科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍尚学博...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
逻辑结构说明
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域，是对某个主题分析后确定的主题边界。例如，商品域、交易域、会员域等。项目 ...
新零售：上海百胜软件股份有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍上海...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
使用ETL分析实时订单
步骤 说明 准备工作 将实时交易数据、业务维度数据存储在源表中，并根据业务需求创建目标表。说明 本案例中实时交易、业务维度表、目标表均存储在RDS MySQL中。步骤一：配置源库信息 将实时交易数据配置为流表，业务维度数据配置为维表。...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
新零售：杭州数云信息技术有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
名词解释
COMPACTION 〇 〇 Compaction（数据压缩）是一种数据管理技术，用于优化和减小数据库文件的大小，从而提高数据库性能。不同的存储引擎实现中存在不同的Compaction策略。INDEX 〇 ✖️ Index（索引）是一种数据结构，用于加快数据库中数据的...
DataWorks产品安全能力介绍
数据质量规则：支持管理员配置数据质量规则并关联生产任务，确保每日产出的结果数据无缺失、无污染、准确有效并可用于支撑业务决策，保障数据的完整性（Integrity）与可用性（Availability）。智能监控规则：支持管理员为重要的任务优先...
数仓规划概述
物理空间：基于开发协作管理需求划分物理项目，包括项目管理、数据源管理等模块。基础研发版和智能研发版支持的功能不同：基础研发版：规划 包括 项目 和 源 两大模块。模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间...
X-Engine最佳实践
由于X-Engine分层存储的架构特点，该引擎特别适合某些业务负载特征的业务，本文介绍X-Engine的典型应用业务场景。X-Engine的分层存储架构特别适合具有如下业务负载特征的业务：数据访问具有鲜明的时间特征。例如大部分读取及修改操作集中在...
数仓规划概述
物理空间：基于开发协作管理需求划分物理项目，包括项目管理、数据源管理等模块。基础研发版和智能研发版支持的功能不同：基础研发版：规划 包括 项目 和 源 两大模块。模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
维度建模
业务过程。参照下表，新建会员域下的业务。您也可以使用 通用工具 导入 业务过程。英文缩写 中文名 英文名 数据域 负责人 备注 login 登录 login 会员域 xxx-register 注册 register 会员域 xxx-mbf_default（系统）会员域_默认（系统）mbr...
数仓构建流程
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
可视分析创作间和传统BI软件差异比较
对比项 可视分析创作间 传统BI软件 数据源 数据连接类型：支持Excel上传，支持数据库连接 数据连接类型：支持Excel上传，支持数据库连接 支持临时业务数据，也支持建模后的数据内容 通常需要前期IT人员完成数据建模 数据采集和准备 零代码...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
MyBase与自建数据库对比优势
MyBase与自建数据库对比 数据库特性 云数据库专属集群MyBase 自建数据库 高可用 提供高可用性保障，宕机自动切换、修复。需要单独购买高可用系统。资源超配 提供CPU、内存、硬盘超配，突破主机固有资源限制，在合理的资源超配上有效降低...
核心自治技术案例解析
通过数据库自治服务DAS，可以帮助企业节省90%的数据库管理成本，降低80%的运维风险，让您可以更集中在业务创新，让业务持续行驶在快车道上。本文以双11期间的实际案例介绍DAS已拥有的核心自治特性：7x24实时异常检测、故障自愈、自动优化、...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
基本概念
数据建模 数据模型：是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架，数据资源平台支持逻辑模型和物理模型。逻辑模型：反映的是系统分析设计人员对数据存储...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
DML无锁变更概览
背景信息 当业务累积了大量数据时，需要定期清除表中的数据，或对在线数据和历史数据进行分隔管理。您可能会遇到以下问题：单条SQL影响行数过多，日志超过阈值导致任务执行失败。SQL没有使用索引导致锁表，数据库负载增加，甚至造成业务...
常见问题
对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及PolarDB数据库等，实现全方位统一管理。产品使用相关问题 数据...
PolarDB MySQL版CPU使用率高
TP类查询业务的读写数据量都非常小，如果某个查询的扫描数据量非常大，那么大概率是由于索引缺失导致。例如下述查询语句在慢查询列表中显示扫描数据量为1万+，但返回数据为1条，那么很明显在 name 列上有索引缺失的情况。SELECT*FROM table...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
引擎类型
云原生多模数据库 Lindorm 内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎，兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口，同时提供SQL查询、时序处理、文本检索分析等能力。为应对动态变化的...
8.0.1和8.0.2版功能对比
支持 支持 REDO IO Cache 优化 计算存储针对云盘IO特征的关键路径优化，增强业务吞吐量。支持 支持 Blink Tree 降低B+Tree index锁冲突，大幅提高structure modification operations（SMO）并行度及B+Tree并发读写性能。支持 支持 DDL DDL...
- 产品推荐
- 这些文档可能帮助您