数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
算法说明
大规模数据场景下，建议您拆分数据或使用流式图算法。更多信息，请参见 RobustSTL:A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series。场景说明 流式分解算法适用于对具有周期性的数据序列进行巡检，且要求数据的周期...
基于图算法实现金融风控
与常规结构化数据不同，图算法将数据整理为首尾相连的关系图谱，需要考虑边和点。PAI提供了丰富的图算法组件，包括K-Core、最大联通子图及标签传播聚类等。本实验以人物通联关系图（如下图所示）为例，基于图算法实现金融风控。两人之间的...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
水波图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
水波图
图表样式 水波图以动态水波的填充方式展示一组数据的百分比值或项目的进度情况。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
IDMapping在离线一体化解决方案
基于阿里云大数据平台产品，底层大数据平台MaxCompute（三）GraphCompute在离线架构 在离线架构以GraphCompute引擎和图算法为中心，可以无缝对接底层数据处理层MaxCompute，承接上层业务的查询能力提供在线服务层。（四）技术实现细节 整个...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
什么是交通云控平台
交通云控平台是阿里云面向交通行业打造的，可提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六大能力的大数据开放平台。产品介绍 交通云控平台为交通行业应用的开发提供图、数、智、控、云、视等能力，交通行业开发者可基于平台...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
组件参考：所有组件汇总
直方图 该组件（Histogram）又称质量分布图，是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。机器学习 预测 该组件的输入为训练模型和预测数据，输出为预测结果。XGBoost训练 该组件算法在Boosting算法的基础上...
如何将一棵LSM-Tree塞进NVM
其中，为了进一步减少针对PM的随机写入提高写入的性能，ROR算法中采用batch的方式将小的ChainLog合并成更大的数据块。如下图所示，ChainLog保证任意大小数据写入PM的原子性，batching用于聚合小的事务缓存批量写入PM以减少PM的随机写，并发...
HTAP中的行列混存查询优化
在用户场景workload中，未开启查询优化时，join按照 的方式执行，下图中d、e表的join（橙色的部分）处理的数据量很大，整个查询60%以上的时间都用于处理这部分大表join。查询效果图如下：开启查询优化后的效果图如下：开启查询优化后，join...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
高效向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理请参见下图。算法流程说明：构造多层图，每层图都是下层...
高效基因序列检索助力快速分析肺炎病毒
云原生数据仓库AnalyticDB MySQL版 是云端托管的PB级高并发低延时数据仓库，通过 AnalyticDB MySQL版 向量检索功能构建的基因检索系统，支持毫秒级针对10亿级别的向量数据进行查询分析，更加快速、高效的为肺炎病毒防控、研发治疗药物以及...
图算法
图计算服务GraphCompute新增图算法分析功能，提供分析查询一体化解决方案，方便用户快速进行全图数据分析。功能介绍 图计算服务GraphCompute新增图算法功能，基于当前服务的数据进行算法执行，方便用户快速进行全图数据的分析。只需要开通...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
数据智能概述
算法模板 物联网平台提供算法模板供您使用，您可以查看算法模板的详情信息，如：算法详细介绍、运行算法所需数据、算法产出的数据等。实例管理 您可以在算法实例页面，根据实际业务需求购买算法实例和对已购买的算法实例进行续费和升配。...
Vector
HNSW：采用HNSW图结构构建整个索引，并通过该算法进行查询，适合大规模的数据集。distance_method：计算向量距离函数，取值如下：L2：平方欧氏距离。IP：向量内积，距离值为 1-向量内积。COSINE：余弦距离，距离值为 1-向量余弦值。使用...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
CREATE MODEL
采用HNSW图结构构建整个向量索引，并通过该算法进行查询，适合大规模的数据集。FLAT：不单独构建索引，采用暴力搜索的方式执行查询，适合1万条以下的小规模数据集。否 retrieval_distance_method VARCHAR 向量检索的距离函数。取值如下：IP...
模型创建
采用HNSW图结构构建整个向量索引，并通过该算法进行查询，适合大规模的数据集。FLAT：不单独构建索引，采用暴力搜索的方式执行查询，适合1万条以下的小规模数据集。否 retrieval_distance_method VARCHAR 向量检索的距离函数。取值如下：IP...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是视觉计算服务
数据总线：负责结构化的特征向量和特征值的存储融合多维度关联，支持以图搜图、特征检索、AI学习等大数据服务。质量监测：支持全链路质量监测，包括基础设施检测和算法质量测评。算法训练：支持训练定制化算法模型，并部署使用。控制台：以...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
宜搭创建大屏实操
配置轮播饼图组件 配置轮播饼图组件的操作步骤如下：在画布编辑器中选择表示 客户引入渠道 的 饼图 组件，在组件的右侧面板中，选择 数据 面板，单击 配置数据源，选择 宜搭数据源，并单击 进入配置。在 图表数据配置 对话框中，将 数据集 ...
数据科学计算概述
Scikit-Learn：用于数据分析和数据挖掘任务的算法。为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
名词解释
算法（AlgoLib）平台内置或者用户自建的算法库信息。算法能力集（Capability）算法输出结构化数据的能力，如行人、非机动车等。资源配置参数（ResourceProfile）资源配置参数指定了计算工作组运行依赖的各项系统默认配置参数。视频流...
Designer使用案例汇总
基于图算法实现金融风控 介绍如何基于图算法实现金融风控。评分卡信用评分 介绍如何通过PAI提供的金融组件，构建评分卡建模方案。异常指标监控 介绍如何快速构建异常指标监控模型。用户流失预警风控 介绍如何通过PAI提供的用户特征算法，...
- 产品推荐
- 这些文档可能帮助您