在本地环境上使用PyODPS
创建完成后，您可参考下文内容进行简单示例的操作学习，了解PyODPS的主要能力维度。创建ODPS入口 执行SQL DataFrame 设置运行参数hints 更多PyODPS的使用指导请参见 基本操作概述、DataFrame概述。您也可以参考示例文档：使用PyODPS节点...
适用场景
按容量选择 在OLTP业务领域，数据库的容量通常关注并发度、数据存储、复杂SQL响应时间这3个维度。若当前数据库中任意一个维度出现瓶颈，或出于对业务不断高速发展提前规划数据库选型的考虑，当下选用 PolarDB-X 1.0 构建分布式数据库，可...
SQL调优方法与实战
找出需调优的慢SQL后，先通过 EXPLAIN 查看执行计划，然后通过如下方法优化SQL：下推更多计算至存储层MySQL，适当增加索引，优化执行计划。下推更多的计算 PolarDB-X 1.0 会尽可能将更多的计算下推到存储层MySQL。下推计算能够减少数据传输...
查询管理SQL
云数据库ClickHouse 将QueryLog进行白屏化的呈现，提供关键维度的可视化检索，慢SQL的统计分析。通过简单点选就能轻松实现对于日志数据的分析汇总，帮助您进行问题定位和处理。监控慢SQL 监控慢SQL时控制台提供对选定时间区间内的慢SQL进行...
TOP SQL
在 实时TOP SQL-平均开销 和 实时TOP SQL-总开销 区域，从不同维度查看实例中的实时TOP SQL的开销。在 实时TOP SQL-列表 区域，查看实例中的实时TOP SQL的详细信息。说明 实时TOP SQL的数据来源于实例启动后缓存中的数据，当有新增SQL或者...
分钟统计/多 Key
通过配置日志的 Group By 维度，统计各维度各 Key 数据，等同于 SQL 中 Group By 的功能。更多监控类别应用场景，请参见 监控类型概述。配置自定义监控主要包括如下的步骤：选择监控产品 填写基本信息 配置日志筛选 设置列值分组 选择统计...
分钟统计_多 Key
分钟统计/多 Key 是通过配置日志的 Group By 维度，统计各维度各 Key 数据，等同于 SQL 中 Group By 的功能。应用场景 要从下面这批日志里了解在 2012-11-11 11:11 这一分钟，每个收费站各通行了多少辆车，使用分钟统计/多 Key 对收费站这...
监控类型概述
通过配置日志的 Group By 维度，统计各维度各 Key 数据，等同于 SQL 中 Group By 的功能。支持日志关键字筛选 大盘 常用 将监控项通过灵活的配置，以报表及走势图形式展现。只做报表展现，不支持告警配置。所有告警设定在配置监控项时完成...
Cost-based SQL诊断引擎
能力构建 面对上面提到的众多挑战，本文着重从DAS中的SQL诊断优化引擎核心技术架构以及能力测试集的构建两个维度进一步解读。上图是SQL诊断优化引擎的核心架构，它实现一套独立于数据库之外的优化器，包括自适应的统计信息收集以及执行计划...
秒级统计_多 Key
秒级统计/多 Key 是通过配置日志的 Group By 维度，统计各维度各 Key 数据，等同于 SQL 中 Group By 的功能。秒级统计可以更及时的查看数据及排查问题，但所需要的存储空间也更大，秒级统计/多 Key 一天需要存 86400＊N 个数值（24 小时/天...
计算费用（按量付费）
当您购买按量付费规格后，MaxCompute会对SQL、MapReduce、Lightning（交互式分析）、Spark、Mars（数据科学）和MCQA（查询加速SQL）计算类型按量付费。本文为您介绍不同计算类型下的计费规则。背景信息 MaxCompute是以作业的执行情况作为...
数据库自治服务的审计事件
GetSchemaAdvisedIndexMap 获取库维度索引诊断建议。GetSchemaBySql 通过SQL获取当前的数据库名。GetSchemas 获取实例上Schema列表，不包含系统表。GetSecurityDiagnosis 获取账号安全诊断信息。GetSessionAnalyzeSnapshot 获取限流分析的...
概述
从性能的角度来看，您可以根据SQL语句在一个或两个维度上利用分区修剪。二级分区允许将表、索引和索引组织的表细分为更小的块，从而能够以更细的粒度级别管理和访问这些数据库对象。例如可以为分区实现一个滚动窗口来支持历史数据分区，...
SQL洞察
操作步骤 MSE提供的SQL洞察能力，可以观察应用和资源API维度的实时数据，并且通过Top SQL洞察可以定位应用变慢的根因，有效分析SQL语句是否合理，以及SQL执行的并发、RT是否符合系统表现的预期。根据SQL洞察的数据，有效地评估系统的整体...
查找最耗费资源的 SQL（Top SQL）
数据库资源分为多个维度，包括CPU、内存、IO 等，为能够从各个维度层面查找最消耗数据库资源的 SQL，您可以使用 pg_stat_statements 插件统计数据库的资源开销和分析 Top SQL。本文将通过示例介绍如何创建 pg_stat_statements 插件、如何...
文档更新动态（2022年）
更新说明 创建并配置普通维度逻辑表、创建并配置层级维度逻辑表、创建虚拟维度逻辑表、创建枚举维度逻辑表 2022年10月25日 SQL任务支持cost、reload function、except all函数、set yarn.timeline-service.enabled=true语法。SQL任务支持 ...
SQL性能问题
本文介绍有关SQL性能相关的常见问题。Flink全托管如何拆分SQL作业节点？Group Aggregate优化技巧有哪些？TopN优化技巧有哪些？有哪些高效去重方案？在使用内置函数时，需要注意什么？Flink全托管如何拆分SQL作业节点？在 作业运维 页面，...
高性能Flink SQL优化技巧
本文将从作业配置和Flink SQL优化两方面为您介绍如何提升Flink SQL作业性能。作业配置优化推荐方案 资源优化技巧 VVP中限制了JobManager和TaskManager的CPU的实际使用大小，配置了多少个CPU，最大就只能使用多少个CPU。因此在资源优化时，...
规范定义最佳实践
背景信息 规范定义是指以维度建模作为理论基础，构建总线矩阵，划分并定义主题域、业务过程、维度、原子指标、统计周期和派生指标。在您开始使用Dataphin进行数仓模型设计前，需要完成业务调研、需求分析、构建总线矩阵（从业务数据中抽象...
规范定义最佳实践
背景信息 规范定义是指以维度建模作为理论基础，构建总线矩阵，划分并定义主题域、业务过程、维度、原子指标、统计周期和派生指标。在您开始使用Dataphin进行数仓模型设计前，需要完成业务调研、需求分析、构建总线矩阵（从业务数据中抽象...
数仓构建流程
基本概念 在正式学习本教程之前，您需要了解以下基本概念：数据板块：数据板块定义了数据仓库的多种命名空间，是一种系统级的概念对象，是比主题域更高维度的业务划分方法，适用于庞大的业务系统。当数据的业务含义存在较大差异时，您可以...
代码模式建模
背景信息 FML（Fast Modeling Language）是用于在维度建模领域快速构建数据表的一门类SQL语言，其语法采用了类SQL的标准语法。DataWorks数据建模的设计与实现解耦，在设计过程中，您无需考虑各个大数据引擎的实现方式，建模引擎会根据FML...
数仓构建流程
属性（维度属性）：维度所包含的表示维度的列称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。度量：在维度建模中，将度量称为事实，将环境描述为维度，维度是用于分析事实所需要的多样环境。...
数仓构建流程
属性（维度属性）：维度所包含的表示维度的列称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。度量：在维度建模中，将度量称为事实，将环境描述为维度，维度是用于分析事实所需要的多样环境。...
2021年
12-23 迁移实例 迁移 MyBase SQL Server实例 MySQL 新增 主从版实例拓扑图管理功能 主从版实例拓扑图管理功能，方便客户一站式管理主从版实例访问地址、HA切换、实例变配、代理连接管理等多维度产品功能。12-22 查看拓扑图 SQL Server 优化...
Quick BI如何将数据源中报表的某一维度实现行列转换
概述 本文主要描述了Quick BI如何将数据源中报表的某一维度实现行列转换的方法。详细信息 在SQL创建数据集中，使用SQL将数据集中的数据进行行转列处理。以上图数据表为例，将subject字段实现行转列，SQL如下：SELECT province,CASE `...
Quick BI如何获取top10数据
如果您展示的是多个维度比如展示年份、区域、省份三个维度，取每年、每个区域，订单数量前10的省份，就需要通过SQL创建数据集实现，以MaxCompute数据库为例，可参考如下SQL：select year,area,province,order_num from(select year(report_...
SQL洞察和审计
增强搜索 可以按照数据库、用户、客户端IP、线程ID、执行时长、扫描行数等进行多维度检索，并支持导出和下载搜索结果。SQL分析 可以对指定时间段的SQL日志进行可视化交互式分析，找出异常SQL，定位性能问题。相关SQL识别 可以分析监控指标...
SQL洞察
增强搜索 可以按照数据库、用户、客户端IP、线程ID、执行耗时、执行状态等进行多维度检索，并支持导出和下载搜索结果。开通SQL洞察 登录 PolarDB控制台。在控制台左上角，选择地域。单击目标集群ID。在左侧导航栏中，选择 日志与审计>SQL...
SQL洞察
增强搜索 可以按照数据库、用户、客户端IP、线程ID、执行耗时、执行状态等进行多维度检索，并支持导出和下载搜索结果。开通SQL洞察 登录 PolarDB控制台。在控制台左上角，选择地域。单击目标集群ID。在左侧导航栏中，选择 日志与审计>SQL...
占位符
操作步骤 创建入口 入口一：自定义SQL编辑页面 在SQL代码编辑页面，单击 占位符管理。在 占位符管理 面板，系统会自动识别您在SQL中使用的占位符并展示在占位符管理面板中，您可以对占位符的变量类型、默认值进行修改，配置完成后单击确定...
工业资产指标&数据分析最佳实践
数据视图SQL如下，把资产指标和空间资产、设备资产维度做关联JOIN分析，生成一个DWD明细宽表。select asset.assetTypeCode as"设备类型编码",asset.assetTypeName as"设备类型名称",asset.assetCode as"设备编码",asset.assetName as"设备...
流控信息
API名称 API版本 配额 配额维度 CheckDBNameAvailable 2014-08-15 10/1(s)地域：*API限速维度：regionId,API,ParentUid DescribeVSwitches 2014-08-15 20/1(s)地域：*API限速维度：regionId,API,ParentUid ModifyParameter 2014-08-15 50/1...
导入方式建模
说明 已完成维度表、事实表或汇总表的创建，创建方法请参见 创建逻辑模型：维度表、创建逻辑模型：明细表、创建逻辑模型：汇总表。在 维度建模 页面，双击对应目录树中表的名称。在右侧表详情页，单击 导出DDL 并选择对应引擎类型...
维度层（DIM）
本文为您介绍维度层的设计原则、维度表的规范、创建维度及查询维度逻辑表。维度层简介 建立一致数据分析维表，可以降低数据计算口径和算法不统一风险。以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性...
定义维度
本文为您介绍如何定义维度以及设置自动创建维度。 说明 您可以单独创建维度，也可以创建维度结构树节点对维度进行分组。前提条件 已接入云账号，详情请参见 云账号接入。手动定义维度 步骤一：定义维度结构树 登录 多云成本运营 控制台。...
新建维度
维度管理通过分析业务流程、抽象关键业务对象、业务对象属性，并设置为维度及其维度属性，为模型标准化设计及数据治理过程中的质量检测提供依据。本文介绍如何新建维度。背景信息 维度和维度属性也是数据标准的一种类型，通常使用维度建模...
流控信息
API名称 API版本 配额 配额维度 DescribeApi 2016-07-14 暂无数据 地域：*API限速维度：/ModifyIpControlPolicyItem 2016-07-14 暂无数据 地域：*API限速维度：/DescribeApiLatencyData 2016-07-14 暂无数据 地域：*API限速维度：/...
新建维度
维度管理通过分析业务流程、抽象关键业务对象、业务对象属性，并设置为维度及其维度属性，为模型标准化设计及数据治理过程中的质量检测提供依据。本文介绍如何新建维度。背景信息 维度和维度属性也是数据标准的一种类型，通常使用维度建模...
维度表
维度表展示区：维度表分为系统预置维度表与自定义维度表，在展示区可以根据创建人区别系统预置维度表与自定义维度表，系统预置维度表为「网络类型系统维度表」、「设备品牌型号系统维度表」、「流量来源网站系统维度表」、「网络子类型标识...
- 产品推荐
- 这些文档可能帮助您