列存索引如何实现高效数据过滤
minmax索引的优点是它可以在非常快的时间内处理非常大的数据集。它能够减少为了处理查询而必须扫描的数据量，因为它只需要处理与查询范围相关的数据块。另外，minmax索引有助于减少存储索引所需的空间，因为它只需要存储每个块的最小值和...
API概览
DescribeSqlLogStatistic 查询DAS企业版数据统计信息 调用DescribeSqlLogStatistic接口，查询DAS企业版的数据统计信息。GetDasSQLLogHotData 查询DAS企业版（V2或V3）热存储数据明细 调用GetDasSQLLogHotDat接口，查询数据库实例7天内DAS...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
适用场景
传统企业级应用因业务发展导致计算量与数据量呈爆发式增长，急需具备更强计算能力的在线事务型数据库场景。按容量选择 在OLTP业务领域，数据库的容量通常关注并发度、数据存储、复杂SQL响应时间这3个维度。若当前数据库中任意一个维度出现...
调优集群性能
您可以通过 一键诊断 功能来定位存在问题的查询：Bad SQL检测结果中，高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL，都可能导致集群的CPU使用率增高，需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...
计费逻辑说明
DataWorks计费体系由 软件费用 与 资源费用 两部分组成，计费体系中各计费项的计费模式分为 包年包月 与 按量付费 两种计费形式。本文为您介绍DataWorks的计费要点和各功能模块的软件费用详情。注意事项 不同规格、不同云环境（例如，公共...
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
API概览
通信监测 API 描述 ...用量统计 API 描述 DescribeUsageOverallData 获取用量统计的概览数据。DescribeUsageAreaDistributionStatData 获取用量统计的地域分布数据。DescribeUsageDistributionStatData 获取用量统计的分布数据。...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算，并将结果插入到RDS数据库中，最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导，业务场景和数据与实际情况会有...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Query级别诊断结果
AnalyticDB MySQL版 的SQL诊断功能可以对SQL查询的Query、Stage和算子（Operator）级别的信息分别进行统计，再在统计信息的基础上进行诊断并提供调优建议。本文介绍如何查看和分析Query级别诊断结果。诊断结果类型 说明 查看Query级别诊断...
查看运维大屏
数据同步量 根据数据源类型展示所选业务日期内，同步数据量的拉取和写入曲线，快速查看同步数据量较大的引擎任务，后续可考虑向该类引擎任务进行资源倾斜。数据同步榜单 统计最近10个 最新失败实例 和 最新成功实例，以便您全局查看最新的...
归档统计
归档统计只作数据统计，不作预警使用。支持的归档数据源类型有分钟统计/无 Key、分钟统计/多 Key、常用服务指标。常用服务指标目前仅支持总量的归档。操作步骤 登录实时监控产品控制台，从左侧导航栏选择 自定义监控>新建>新建监控产品。在...
API概览
本产品（音视频通信/2018-01-11）...用量统计 用量统计 DescribeUsageOverallData 获取用量统计的概览数据 本接口用于获取用量统计的概览数据。DescribeUsageDistributionStatData 获取用量统计的分布数据 本接口用于获取用量统计的分布数据。...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
获取自动SQL优化事件的统计数据
调用GetInstanceSqlOptimizeStatistic接口，获取指定时间段内自动SQL优化任务的统计数据，包括任务总数和最大收益等。接口说明 使用该接口需满足以下前提条件：使用阿里云或 DAS 的 SDK 时，建议使用最新版本。使用 SDK 调用 DAS 服务时，...
离线同步任务运维
查看离线数据大屏 您还可以在 运维大屏>离线同步 页面查看离线同步任务的运行状态分布、数据同步进度、同步数据量统计、同步任务执行详情（可基于来源端与目标端数据源，以及任务是否产生公网等条件过滤目标任务）等运行指标信息。...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
数据膨胀、倾斜与索引统计
AnalyticDB PostgreSQL版 诊断与优化功能新增了关键指标页，用于查看数据膨胀、数据倾斜和索引使用统计信息。前提条件 实例资源类型为存储弹性模式，且内核版本为V6.3.10.1及以上版本。如何查看和升级内核小版本，请参见 查看内核小版本 和...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
系统管理
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
成员访问
成员访问展示成员使用用户洞察和用户营销模块的关键指标统计数据。成员访问统计 单击页面右上角，选择 工作空间>工作空间>成员访问，页面如下图所示。页面展示空间成员使用用户洞察和用户营销模块的访问天数、页面点击数，创建人群、AIPL...
应用场景
精准营销 该场景通过实时的数据统计，监测不同渠道用户的增长、活跃、留存状况，让企业快速分析出投资回报率。提高营销效果数据时效性，便于改进产品体验和优化营销方案，提高整体收益。该场景可实现：实时多源数据同步 支持多业务数据源，...
可视化弹性成本分析
对于单个节点组的成本统计，采用估算值，因此与真实账单可能存在一定的数据偏差。集群实际费用以账单支付金额为准。不支持对使用成本节省计划的节点组进行成本分析。操作步骤 进入弹性伸缩页面。登录 EMR on ECS。在顶部菜单栏处，根据实际...
数据概览
概览统计 概览统计页面展示当前所选小程序“获客>激活>分享”核心数据指标及趋势变化，既可查看当前小程序的数据表现与价值转化，也可发现数据问题定位异常数据，支持选择过去任意 1 天、7 天、30 天的指标数据。支持将分析数据通过 Excel ...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
查询备份数据
查询备份与恢复备份的区别 区别项 查询备份数据 恢复备份 功能原理 按需找到目标历史备份时间点的备份数据集，将备份数据集保存至临时实例中，可通过DMS控制台在临时实例的SQL窗口中对历史数据进行查询。通过数据备份和日志备份进行恢复，...
资源组操作及网络连通
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
MaxCompute表数据
查看数据统计信息和分布情况 查看表基本信息 您可以在表详情页左侧的 表基础信息 区域查看表的 浏览次数、读取次数、收藏次数 等信息。图标表示当前表为DataWorks智能数据建模生成的模型表。如果您需要使用智能建模功能，请参考 概述。浏览...
行业趋势与背景
本文介绍了数据库行业的发展及 PolarDB-X 的技术发展历程。行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护...
应用场景
数据库网关（DatabaseGateway，简称DG）具有广泛的应用场景，用户可以使用云服务访问并管理本地IDC或其他云厂商的数据库，同时也可以与其他阿里云服务集成提供丰富的解决方案。多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理...
应用场景
数据库网关（DatabaseGateway，简称DG）具有广泛的应用场景，用户可以使用云服务访问并管理本地IDC或其他云厂商的数据库，同时也可以与其他阿里云服务集成提供丰富的解决方案。多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理...
用户访问
用户访问展示用户使用用户洞察和用户营销模块的关键指标统计数据，以及用户下载受众的明细记录。用户访问统计 单击页面右上角，选择工作空间>工作空间>用户访问>用户访问统计，页面如下图所示。页面展示空间成员使用用户洞察和用户营销模块...
- 产品推荐
- 这些文档可能帮助您