列存索引中TopK算子的实现
动态选择内存磁盘算法 内存算法和磁盘算法不同，如果使用一个固定的阈值来作为选择内存算法或磁盘算法的依据（比如K小于阈值时使用内存算法，否则使用磁盘算法），那么针对不同的可用执行内存就需要设置不同的阈值，带来了人工干预的开销。...
专属解决方案
统一成本管理 重点解决如何进行成本洞察，发现成本问题，基于成本问题形成可迭代的、不断正循环的成本管理制度。成本问题的发现与成本管控最佳实践 总的来说，云的成本管控主要围绕用量、用法和计费三大要素来展开。但在此之前，首先要能够...
列存索引中GroupJoin算子的实现
处理算法与 算法 中的处理方式一样。相关实现 2011年的一篇论文 Accelerating Queries with Group-By and Join by Groupjoin（简称 paper_1）从理论角度阐述了GroupJoin在不同查询计划中的可行性，但是不涉及太多实现的细节。论文描述了...
阿里云云上成本管理解决方案白皮书
成本监控：通过多种监控手段对成本和资源数据进行监控，并有效预警通知给相关人员，监控手段通常分为两类，基于业务规则（比如基于预算、成本金额、资源使用率等人为设定阈值的预警）和基于人工智能算法（比如无需人为设定阈值、由算法智能...
AIOps 解决方案专家服务内容说明
智能算法列表 类型 算法名称 算法逻辑 异常诊断类算法 One-Class SVM 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 孤立深林 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 Robust Covariance 基于历史批量...
组件参考：所有组件汇总
条件随机场预测 该组件是基于linearCRF在线预测模型的算法组件，主要应用于处理序列标注问题。Split Word（生成模型）该组件基于AliWS（Alibaba Word Segmenter）词法分析系统，根据参数和自定义词典生成分词模型。词频统计 该组件是指输入...
云原生网关版本特性
新增后端服务的负载均衡算法配置，包括round_robin、least_conn和random，以及具有请求亲和性的基于一致性Hash负载均衡算法。新增服务预热，保证服务无损上线。新增Cookie亲和性，通过会话保持使得请求始终负载在同一个节点。1.1.0 支持后...
阿里邮箱反垃圾产品介绍
全面的监控体系：动态的数据报表体系，专人监控，发现问题及时处理，实时保障用户使用邮箱的便捷；庞大的模型样本库：多年的样本积累，形成庞大的模型样本库；先进的指纹识别技术：将邮件拆分多个指纹，依靠庞大的指纹数据库，以及频率控制...
PolarDB处理TPC-H查询的挑战和机遇
针对第二个问题，商业数据库系统处理的比较完善，例如Oracle的多维histogram/column group zone map、SQL Server的expression statistics等。不过多维histogram的维护成本很高，因此针对多列的简单组合统计信息是更常见的方案，MySQL只有...
如何通过图算法能力获取OneID高质量人
本文将重点讲解如何将传统的用户登录信息进行离线处理，构建用户与设备间的多种复杂图关系，并基于图关系完成离线图算法分析，快速和精准的挖掘出多设备多账号对应的自然人信息。（一）背景 对于几乎所有的互联网企业，对于识别、追踪用户...
监控预警
成本监控和预警有助于发现成本问题和成本优化机会点，因此企业应该通过各种监控工具对成本数据和资源数据进行有效监控，并通过预警的方式通知到相关的运维人员或财务人员，从而对发现的问题或优化机会进行跟踪处理，避免预期外费用、优化...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
产品简介
自然语言处理（Natural Language Processing，简称NLP），是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，旨在帮助用户高效的处理文本，已经广泛应用在电商、文娱、司法、公安、金融、医疗、电力等行业客户的多项业务中，取得了...
使用前须知
智能：基于达摩院智能AIOps算法，提供ALB指标自动巡检功能，有助于更快、更准确地发现并定位问题。资产说明 所有资产都在您选择的Project下，Project内的资产如下：Logstore 访问日志Logstore用于存储ALB 7层访问日志，该Logstore为您...
工作原理
背景信息 基于时间的数据（例如日志、指标）日积月累后会积累大量的数据。例如，某个服务每天产生1000万条数据，则一年大约为36亿条数据。对于这些数据，使用固定巡检规则的人工巡检方式面临以下问题：效率低：对于异常现场的定位，需要...
核心自治技术案例解析
您可以采集各种数据，比如从链路上采集数百个数据库性能指标和从链路上采集已加载SQL语句的查询日志，海量数据的离在线处理与存储，基于机器学习和数据库领域预测算法，实现各业务数据库实例的持续模型训练，实时模型预测和实时异常检测...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
使用前须知
智能：基于达摩院智能AIOps算法，提供各类指标自动巡检功能，有助于更快、更准确地发现并定位问题。资产说明 所有资产都在您选择的Project下，Project内的资产如下：Logstore 访问日志Logstore用于存储Kubernetes Ingress访问日志，该...
IDMapping在离线一体化解决方案
基于阿里云大数据平台产品，底层大数据平台MaxCompute（三）GraphCompute在离线架构 在离线架构以GraphCompute引擎和图算法为中心，可以无缝对接底层数据处理层MaxCompute，承接上层业务的查询能力提供在线服务层。（四）技术实现细节 整个...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
管理健康报告
针对此问题，建议您：结合表的实际数据规模，科学合理地选择分区与分桶的数量，以有效避免小文件问题的发生。通过适度增大批量处理的规模，可以在提高整体数据处理吞吐量的同时，有效减少对象存储中的小文件数量。虽然Compaction能够整合...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
安全体系概述
比如服务访问的PV和UV，成功和失败比例，以及延迟信息等全方位的流量监控，同时支持基于日志服务提供的机器学习算法，通过多种时序分析算法从Ingress的指标中自动检测异常点，提供问题发现的效率。具体操作，请参见 Nginx Ingress访问日志...
SQL优化技术
性能跟踪的算法基于决策树模型，包括全量SQL追踪和慢SQL追踪等多维度追踪，对SQL模板优化后的性能指标与优化前进行对比，综合判断SQL模板在该时刻是否发生了性能衰减。业务往往是以天为周期变化，默认跟踪时间为24小时，没有回滚，则认为...
安全体系概述
比如服务访问的PV和UV，成功和失败比例，以及延迟信息等全方位的流量监控，同时支持基于日志服务提供的机器学习算法，通过多种时序分析算法从Ingress的指标中自动检测异常点，提高问题发现的效率。具体操作，请参见 Nginx Ingress访问日志...
设计方案
基于稳定性支柱设计原则，整体稳定性设计方案可参考如下：架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构，到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构，再到服务细分通过轻量级的通信机制...
黄牛账号识别之GraphCompute解决方案
和【设备信息表】对应信息更新 持久化：引入MaxCompute，存储离线全量 Step2：离线算法选择 Community Search根据网络中给出的已知种子节点的局部信息出发，去发现给定种子节点所在的局部社区，具有更强的社区针对性，是一种图传播的方法。...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
功能发布记录
总览 2021-03-18 Web安全报表支持误报屏蔽 Web攻击报表支持误报屏蔽操作，能够自动生成针对特定规则ID的白名单规则，并且您可以在Web入侵防护白名单中手动添加基于特定规则ID、规则类型的白名单规则，提升处理误报的体验。该功能适用于对误...
概览
因此，云监控为了更好地提升您的报警体验，缩短异常问题发现时间，推出基于机器学习算法结合专家规则经验的智能阈值功能。其核心算法可以动态识别历史数据模式特征，例如：监控指标的周期模式、波动、水位大小等，融合具体产品的监控指标...
阿里云云通信短信服务安全白皮书V1.0
对于合作项目参与人员，在数据安全培训与考试、安全软件安装与终端安全配置、权限申请与审批、数据传输与使用、数据安全审计与监控、合作结束后交接及数据清理等方面有严格的规范与要求。对于违反相关规定的依据情节严重程度对其进行相应...
特征管理
例如，如果我们有一个数据集，其中包含了关于房屋的信息，比如面积、卧室数量、地理位置、建造年份等，那么每一项信息都可以被视为一个特征。特征的选择和准备对于构建有效的机器学习模型至关重要。良好的特征可以大幅提高模型的性能，而不...
2022年
本文为您介绍了MaxCompute 2022年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2022年12月更新记录 时间 特性 类别 ...
ALB Ingress Controller
组件介绍 ALB Ingress Controller基于阿里云应用型负载均衡ALB（Application Load Balancer），提供更为强大的Ingress流量管理方式，兼容Nginx Ingress，具备处理复杂业务路由和证书自动发现的能力，支持HTTP、HTTPS和QUIC协议，完全满足在...
改进版swing相似度计算算法
本文为您介绍改进版swing相似度计算算法原理，包括工具包下载、工具包详细参数说明以及常见问题等。改进版swing算法 改进1：限定common neighbour数量 原版的swing算法对于物品的同时被触达的用户数量过少的情况，并不适用。从统计学的角度...
OSS数据安全防护最佳实践
背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的OSS Bucket中，一旦发生泄漏，会给企业带来重大的经济和名誉损失。DSC 在您完成数据源识别授权后，从您存储在OSS的海量...
什么是人工智能平台PAI
什么是机器学习 机器学习是一门多学科交叉专业，涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识，它使用计算机作为工具并致力于真实、实时地模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。机器学习对研究...
区间检测
阈值区间计算原理 ARMS的区间检测功能主要基于 Prophet 算法。配置区间检测任务之后，ARMS会在后台以每24h一次的频率，学习指标历史7天数据的特征，提取指标趋势性、季节性等特征，得到指标未来24h的预测曲线。再根据指标自身的波动情况，...
区间检测
阈值区间计算原理 ARMS的区间检测功能主要基于 Prophet 算法。配置区间检测任务之后，ARMS会在后台以每24h一次的频率，学习指标历史7天数据的特征，提取指标趋势性、季节性等特征，得到指标未来24h的预测曲线。再根据指标自身的波动情况，...
区间检测
阈值区间计算原理 ARMS的区间检测功能主要基于 Prophet 算法。配置区间检测任务之后，ARMS会在后台以每24h一次的频率，学习指标历史7天数据的特征，提取指标趋势性、季节性等特征，得到指标未来24h的预测曲线。再根据指标自身的波动情况，...
- 产品推荐
- 这些文档可能帮助您