采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
功能简介
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL多种云计算资源进行物理表数据预览，可快速对各类数据资源下的物理表的...
快照概述
什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上基于云盘快照，对某个文件系统打快照相当于对该文件系统所部署的所有云盘同时打快照。文件系统第一份...
数仓规划概述
数据集市与主题域 数据集市与主题域通常位于应用层，面向用户的实际业务需求，对指定的某类业务进行场景或产品的细粒度划分，制定不同分析视角，基于公共层的整合数据进行业务个性化的数据统计。数据集市 数据集市是对某个业务分类制定细化...
资源消耗统计
可观测监控 Prometheus 版 提供了资源消耗统计的功能，便于您快速了解Prometheus实例各自的指标数据上报分布情况，本文介绍如何查看资源消耗统计。功能入口 登录 Prometheus控制台。在左侧导航栏单击 监控列表，进入可观测监控 Prometheus ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
资源消耗统计
可观测监控 Prometheus 版 提供了资源消耗统计的功能，便于您快速了解Prometheus实例各自的指标数据上报分布情况，本文介绍如何查看资源消耗统计。功能入口 登录 ARMS控制台。在左侧导航栏选择 Prometheus监控>资源消耗。在资源消耗统计...
数据源资源
数据源资源（DataSource）用于查询云服务的资源数据。数据源资源可以被其他资源引用，也可以在输出（Outputs）中被引用。数据源资源和普通资源除了作用不同，支持的功能（例如：引用、依赖、更新等）完全相同。应用场景 将动态查询结果作为...
概览
资源信息 在概览页面，可查看全局的资源数据，包括资源总览、容量诊断和实例的地域分布情况。信息项 说明 资源总览 单击 资源总览 页签，可查看以下资源信息。实例总数：已创建的实例总数，包括集群实例和租户实例。集群实例：已创建的集群...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在...
pg_statistic
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
多值数据写入
时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型。比如某个机器的cpu，mem和load指标。每次是...
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/...
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面...
预览物理表
提供不同数据资源的快速预览和字段详情查看，便于开发人员、数据应用人员和数据分析人员全面直观的了解数据，本章节介绍如何预览物理表。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据...
通过任务编排实现跨库数据同步
在数据仓库中将数据加工后，还需要把加工结果同步回在线库中，以便于在线应用提供相关的数据分析和统计服务。操作步骤 准备工作。新增跨库Spark任务。配置跨库Spark任务。发布跨库Spark任务。准备工作 在MySQL数据库中创建订单表、商品表和...
API概览
本产品（数据库自治服务/2020-01-16）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
统计信息
配置项 统计信息的收集作业需要占用一定的系统资源。为了降低开销，对于数据量较大（默认为5 GiB，通过设置FE参数 huge_table_lower_bound_size_in_bytes 来调节此行为）的表，SelectDB 会自动采取采样的方式去收集。自动采样默认采样...
深度解析Lindorm搜索索引（SearchIndex）特性
资源隔离 异构系统对资源的使用各不相同，必须建立有效的隔离机制确保资源使用最大化，Lindorm通过 存储和索引 分离的模式来保障系统的健壮和弹性。宽表引擎负责存储原始数据，具备极低的存储成本，搜索引擎负责索引和检索，两个引擎可以...
技术面临的挑战与革新
可以说存储计算分离是云时代数据库产品的事实主流架构，无论是OLAP还是OLTP的系统，越来越多的系统地已经采用了此架构或者是正在向着此方向演进发展。分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库...
全局概览
运维监控支持查看工作组内和租户内的任务概览，包括今日失败实例、当前任务流总数、当前任务总数、今日实例总数、实例统计、历史实例运行统计，以便了解 数据资源平台 的任务全局信息。本文介绍了查看全局概览。查看全局概览 登录 数据资源...
功能更新动态（2022年之前）
2020年11月17日 华北2（北京）新建用户自定义函数 创建资源 数据开发概述 2020年11月26日 华南1（深圳）2020年12月15日 华东2（上海）运维中心 新增运维大盘功能，为您提供所有任务运行概况、实例分布统计、异常实例统计，便于您及时获取...
客户案例
张炜宇 阿里妈妈基础共享技术开发平台总监“OceanBase 很好的满足了我们广告业务对于存储系统扩展性，并行计算，统计计算，高吞吐，低时延，资源隔离等大数据处理的需求，在报表业务的演进中帮助我们建立了一套业务和平台分离，面向效果...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
到期提醒与停机策略
到期提醒 数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 数据资源平台实例到期后，会自动停机。您将无法正常登录数据...
统计信息
本文介绍 AnalyticDB MySQL 统计信息的作用与分类，自动收集统计信息的机制，手动收集统计信息的方法，以及如何查看统计信息。功能介绍 查询优化器（Query Optimizer）将查询转换为执行计划，并交给执行引擎执行。执行计划的质量会影响查询...
资源组管理
重要 云原生数据仓库 AnalyticDB PostgreSQL 版 内部预留了admin_group资源组用于管理数据库本身的系统负载，该资源组在控制台不可见。一个实例中所有资源组的CPU总和与Memory总和均为100，admin_group资源组预留的CPU和Memory为10，因此...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
PolarDB HTAP实时数据分析技术解密
如果确定启用并行执行，则会参考一系列状态数据决定并行度，包括当前系统可用的CPU、Memory、IO资源、目前已经调度和在排队的任务信息、统计信息、query 的复杂程度以及用户可配置的参数等。根据这些数据计算出一个推荐的DOP值给算子,而算...
云计算资源类型
云计算资源是空间数据中台中空间数据使用的基础，通过了解空间数据的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在添加空间数据时使用。本文介绍空间服务管理设计中支持使用的云计算资源类型。...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
- 产品推荐
- 这些文档可能帮助您