主成分分析
在一些项目中，拿到的数据往往存在很多特征，在大数据集上进行复杂的分析和挖掘需要很长的时间，有一些特征对于结果没有意义，数据降维产生更小但保持数据完整性的新数据集，在降维后的数据集上进行分析和挖掘将更有效率。计算逻辑原理 主...
工况识别-训练
计算逻辑原理 使用聚类、降维等无监督学习方法对工业数据进行分析，对不同工况数据分别建模。参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 用于建立训练模型的特征变量。是 整数或浮点数（说明：...
主成分分析
主成分分析（PCA）是研究如何通过少数主成分揭示多个变量间的内部结构，考察多个变量间相关性的一种多元统计方法。PCA从原始变量中导出少数主成分，使它们尽可能多地保留原始变量的信息，并且彼此间互不相关，作为新的综合指标。使用限制 ...
数据降维
计算逻辑原理 主成分分析（PCA）：设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，是数学上处理降维的一...
机器学习（MADlib）
其他：数据降维如通过PCA主成分分析模型来提炼主因子，文档分类与LDA文档主题建模。MADlib还集成图计算模型，解决诸如最短路径、PageRank排名、社交网络“谁认识谁，谁与谁更熟悉”等问题。图计算模型相关算法如下表：类别 模型/功能 说明 ...
读写RDS MySQL数据
更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，通过以下SQL语句把 oss_db 中customer的十条记录进行...
公告
2024年04月16日-Dataphin新版本发布 Dataphin于2024年04月16日发布V3.14版本，本次升级相较于历史版本：新增Python三方包全局管理功能，一次安装多次引用，提升Python任务开发效率。支持页面水印设置功能，支持自定义页面水印内容及设置...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
偏最小二乘回归
偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。计算逻辑原理 偏最小二乘...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
东软案例
基于阿里云Lindorm的运维多模数据融合存储分析 以阿里云的云端Lindorm云原生多模数据库为核心，东软围绕运营商、汽车等目标场景监控运维特点，进一步扩展了应用智能运维产品RealSight APM和云管理产品SaCa Aclome能力，实现了高通量、高...
机器学习
其他：数据降维如通过PCA主成分分析模型来提炼主因子，文档分类与LDA文档主题建模。MADlib还集成图计算模型，解决诸如最短路径、PageRank排名、社交网络“谁认识谁，谁与谁更熟悉“等问题。图计算模型相关算法如下表：类别 模型/功能 说明 ...
如何创建自定义PPT应用
本教程主要以数据集为数据源，用分析模式来实现可交互的可视化应用。视频链接 DataV小课堂直播视频：数据源管理-自定义PPT应用。可视化应用直播案例功能说明 在可视化应用中，需要通过键盘的↑和↓方向键来控制 柱状图 的数据钻取、地图...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
组件参考：所有组件汇总
散点图 散点图是指在回归分析中，数据点在直角坐标系平面上的分布图。相关系数矩阵 相关系数算法用于计算一个矩阵中每列之间的相关系数，取值范围为[-1,1]。系统计算时，count数按两列间同时非空的元素个数计算，两两列之间可能不同。双...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
线性回归
计算逻辑原理 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
相关性分析
CSV组件 IGateInOffline组件 平台上其他数据处理组件 按照平台规范开发的自定义组件 基准变量 分析方案为“单变量与多变量”的情况时，组件会分析基准变量与每一个待分析变量之间的相关性。当分析方案为“单变量与多变量”时，才需要配置。...
支持向量机
支持向量机（SVM）是在分类分析中分析数据的监督式学习模型与相关的学习算法，也被拓展运用于回归问题。支持向量机在高维度或无穷维度空间中，构建一个超平面或者一系列的超平面，可以用于分类、回归或者别的任务。直观地看，借助超平面去...
梯度提升回归树算法（GBRT）
例如，有关于人的死亡率和发病率早期证据来自于回归分析的观察性研究。假设有一个回归模型，在回归模型中死亡率（或发病率）是需要拟合的变量 y_cols，则社会经济地位、教育或收入等可以做为其因变量。参数说明 下表中的参数为创建模型 ...
工况识别-预测
计算逻辑原理 使用聚类、降维等无监督学习方法对工业数据进行分析，对不同工况数据分别建模。参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 模型应用 选择模型类型与具体模型，再配置模型输入数据。是 特征变量：整数或...
创建MaxCompute数据源
MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维...
创建MaxCompute数据源
MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维...
2023年
尊敬的MaxCompute用户：感谢您对云原生大数据计算服务MaxCompute的支持，MaxCompute从 2022年9月 发布新版 管理控制台 以来，陆续实现了原有 MaxCompute管家 的能力，同时交互体验有了很大提升，并扩展更多的管理和运维能力。目前...
基本概念
本文介绍 云原生多模数据库 Lindorm 帮助文档中的相关名词和术语的解释。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在Lindorm实例的白名单中添加安全组后，该安全组中的ECS实例就可以访问Lindorm实例。更多...
通过Elasticsearch机器学习实现业务数据的智能检测和...
Elasticsearch机器学习是一种利用机器学习技术对Elasticsearch数据进行智能检测和预测的工具，可以自动识别数据模式和数据异常，生成新的特征和聚合结果，为数据分析和应用提供支持。Elasticsearch机器学习可以提高数据的可用性和价值，还...
岭回归预测
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
创建CDH Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...
StarRocks
背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，兼容MySQL协议的OLAP分析引擎，提供了卓越的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。更多关于StarRocks...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
企业版和标准版功能对比
PolarDB MySQL版 企业版和标准版在功能上有很多差异，可分为集群管理、弹性管理、高性能、备份与恢复、高可用性、高安全、连接管理、高性价比、监控与优化、DB for AI、数据迁移&同步等11个类别。本文为您介绍这两个版本的功能区别，帮助您...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
智能异常分析概述
产品架构 智能异常分析应用围绕运维场景中的监控指标、程序日志、服务关系等核心要素展开，通过机器学习等手段产生异常事件，通过服务拓扑关联分析时序数据和事件，最终降低企业的运维复杂度，提高服务质量。产品架构图如下所示。各功能...
运维中心入门
您可在运维中心查看发布至生产环境的任务，并执行测试、补数据等相关运维操作。本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，...
什么是云原生多模数据库Lindorm
Lindorm基于存储计算分离、多模共享融合的云原生架构，具备 弹性、低成本、简单易用、开放、稳定 等优势，适合元数据、日志、账单、标签、消息、报表、维表、结果表、Feed流、用户画像、设备数据、监控数据、传感器数据、小文件、小图片等...
功能特性
时延洞察 大、热Key分析 包括离线大Key全量分析和实时请求Key分析，快速定位大、热Key。大Key与热Key 慢日志分析 支持慢日志查看及分析，提供优化请求的线索。查询慢日志 生命周期管理 生命周期管理 支持创建、释放、退订、付费模式转换、...
- 产品推荐
- 这些文档可能帮助您