MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
高可用版
图数据库GDB支持高可用版和单节点版两个系列。高可用版采用一主一备的经典高可用...可靠性 计算与存储分离，计算节点的故障不会造成数据丢失。基于超大规模的阿里云飞天分布式存储，保证数据多副本的可靠性。适用场景 企业级的生产图数据库。
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
HTAP中的行列混存查询优化
即先按照各个谓词的选择率排序，之后按照如下公式计算选择率：该算法在基于现实数据的大部分数据集中能有效地减少估计误差。优化效果评估 在TPCH 1 TB数据集上测试开启/关闭IMCI查询优化的性能。如下图所示：由上图可以看出，对于Q8和Q9的...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
Quick BI散点图如何预测数据
概述 本文主要介绍Quick BI中哪些图表可以预测数据，以及如何设置数据预测功能。问题描述 仪表板中的散点图是否可以预测数据，如何设置？问题原因 散点图不支持预测数据，其他的图表有的可以支持预测数据。解决方案 1.散点图不支持数据预测...
AIOps 解决方案专家服务内容说明
在方案设计中我们提供包括时序预测和根因分析、历史数据预测的3大类算法场景的设计，更多具体算法详见《10.1算法列表》《智能故障发现设计方案》3 定制化业务风险巡检方案设计 基于阿里云业务资源和技术能力，为企业定制化业务风险巡检能力...
发展历程
2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分的引擎，性能达到7830 QPM。获得中国国际软件博览会金奖。中国电子学会科技进步特等奖（被业界誉为...
模型预测
您可以在模型排行榜中选择某个模型进行预测任务，本文为您详细介绍GDB Automl模型预测的方法。操作步骤 模型预测完成后，在...选择用于模型预测的数据帧，单击 预测。在模型预测结果中，可以查看预测集上的混淆矩阵和不同阈值下的指标情况。
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
产品功能
阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB Automl）支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
预测函数
本文档主要介绍了预测函数（Predictors）的语法结构、语法说明以及使用示例。HOLT_WINTERS()使用Holt-Winters的季节性方法返回N个预测的field value。HOLT_WINTERS()可用于：预测时间什么时候会超过给定的阈值。将预测值与实际值进行比较，...
性能异常检测
通过机器学习和智能算法，支持数据库实例核心指标的异常检测和预测，并自动联动一键诊断模块，帮助您直接定位异常根因。前提条件 数据库实例需要满足以下条件：当前仅支持 RDS MySQL。数据库实例已接入DAS，并且接入状态显示为 接入正常，...
将AI模型推理结果写回数据库
AAT作为数据库外表，在使用上和数据库里面其他的表没有太大的差别。通过AAT连接AI和数据库 通过以下示例，来描述如何通过AAT来连接AI和数据库。在实际使用过程中，请根据实际情况进行操作。开启冷数据归档 功能。为了避免AI模型对数据库的...
核心自治技术案例解析
您可以采集各种数据，比如从链路上采集数百个数据库性能指标和从链路上采集已加载SQL语句的查询日志，海量数据的离在线处理与存储，基于机器学习和数据库领域预测算法，实现各业务数据库实例的持续模型训练，实时模型预测和实时异常检测...
概述
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
什么是EMR on ACK
当ACK集群准备就绪后，EMR将基于ACK的资源安装部署大数据服务组件，并在容器内运行。EMR on ACK优势 优势 描述 节省成本 您无需为大数据服务单独购买ACK集群，通过简单的配置即可在已有的ACK集群上执行大数据作业，成本低廉。复用现有ACK...
2022年
基于MaxCompute的智能推荐解决方案 基于MaxCompute+开放搜索的电商、零售行业搜索开发实践 基于MaxCompute+PAI的用户增长方案实践 基于MaxCompute的实时数据处理实践 基于MaxCompute分布式Python能力的大规模数据科学分析 基于MaxCompute+...
创建时序预测作业
下图中红色竖线左侧的曲线表示已出现的时序数据（时序预测作业基于该数据进行预测），红色竖线右侧的曲线为预测的时序数据。您还可以单击 查看异常事件，查看在对应的时序预测过程中出现的错误信息。相关操作 创建时序预测作业后，您可以在...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
使用ETL分析实时订单
应用场景 为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表提速、实时数据计算等。企业在数字化转型过程中，涉及...
复购预测概述
基于算法模型进行预测时，可预测的用户和周期范围取决于行为数据集：可预测用户范围：算法模型使用的行为数据集涉及的用户，且用户在该行为数据集中必须在近1年内有购买行为，即近1年内没有购买行为的用户不可预测。其中，近1年是指行为...
基于预测自动弹性伸缩
为了应对业务增长和数据库高负载所带来的性能挑战，数据库自治服务DAS提供基于预测的自动弹性伸缩策略，通过实例过去10天的历史数据预测未来24小时的性能指标，并在预测的性能指标达到阈值时主动提供扩容建议。前提条件 实例为如下版本：...
基于预测自动弹性伸缩
为了应对业务增长和数据库高负载所带来的性能挑战，数据库自治服务DAS提供基于预测的自动弹性伸缩策略，通过实例过去10天的历史数据预测未来24小时的性能指标，并在预测的性能指标达到阈值时主动提供扩容建议。前提条件 支持如下数据库引擎...
自治服务（CloudDBA）
背景信息 数据库自治服务DAS（Database Autonomy Service），是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的...
性能优化与诊断简介
在RDS MySQL日常运维中，您可以通过数据库自治服务DAS（Database Autonomy Service）来处理数据库故障、优化性能、提升效率、降低运维成本。DAS是一种基于机器学习和专家经验的云服务，实现数据库自感知、自修复、自优化、自运维和自安全，...
DAS Auto Scaling弹性能力
基于DeepLearning的数据库RT预测模型，该算法可基于数据库实例的CPU使用情况、逻辑读、物理读和iops等多项数据指标预测出实例运行时的rt值，用于指导数据库对BufferPool内存的缩减，为阿里巴巴数据库节省超27T内存，占比总内存约17%。...
业务连续性
跨地域主备容灾 应用的主备切换 为了避免地域级别的故障造成业务中断，在某个边缘节点上部署应用之外，还应该在其他边缘节点或公共云地域部署备份应用。您可以借助 全局流量管理服务，在出现地域级别故障时，自动将域名解析指向到其他地域...
Napatech案例
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
用户窃电识别
例如通过采集电量异常、负荷异常、终端报警、主站报警及线损异常等信息监测窃漏电情况及计量装置故障，或根据报警事件发生前后客户计量点电流、电压及负荷数据情况，构建基于指标加权的用电异常分析模型，从而检查用户是否窃电或计量装置...
功能特性
数据分析概述 访问数据分析功能 管理数据集 仪表盘 Copilot Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理...
- 产品推荐
- 这些文档可能帮助您