支持识别的行业模板
数据安全中心的识别规则模板是根据不同行业规范、针对性定制的敏感数据分类分级。通过识别规则模板可以使敏感数据自动符合合规要求。本文介绍数据安全中心提供的内置识别模板。数据安全中心支持识别的模板类型按照不同行业规范，可以按以下...
PolarDB for AI NL2SQL正式商业化，欢迎免费体验！
同时提供了一系列内置的机器学习和人工智能算法，包括：分类算法、回归算法和聚类算法等。基于MLOps和内置的模型，PolarDB for AI 为数据驱动的智能应用提供了高效、可靠、方便的数据智能能力，打破了数据库和业务应用之间的系统墙，提供了...
机器学习开发示例
数据展示，打印schema%pyspark data.show(5)data.printSchema()数据打印 步骤三：准备ML算法数据 说明 在监督学习（例如回归算法）中，通常需要定义标签(lable)和一组要素(features)。在此线性回归示例中，标签为2015年中位数销售价格...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
支持向量机
支持向量机（SVM）是在分类分析中分析数据的监督式学习模型与相关的学习算法，也被拓展运用于回归问题。支持向量机在高维度或无穷维度空间中，构建一个超平面或者一系列的超平面，可以用于分类、回归或者别的任务。直观地看，借助超平面去...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
视频分类训练
针对原始视频数据，您可以使用视频分类训练算法组件对其进行模型训练，从而获得用于推理的视频分类模型。本文介绍视频分类训练算法组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：...
Designer使用案例汇总
基于文本分析算法实现新闻分类 介绍如何通过PAI提供的文本类组件，快速构建文本分类模型。基于回归算法实现农业贷款发放预测 介绍如何通过农业贷款的历史发放情况，使用线性回归方法实现贷款发放预测。基于分箱组件实现连续特征离散化 介绍...
产品简介
该产品支持文本实体抽取、文本分类、关键短语抽取、情感分析、关系抽取、短文本匹配、商品评价解析等 NLP 定制化算法能力，用户无需拥有丰富的算法背景，仅需标注或上传适量文档数据，即可通过平台获得优质的 NLP 算法模型。教学视频 功能...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
A100使用指南
支持审计的数据库类型 数据库分类 数据库 版本 阿里云原生数据库 RDS MySQL 5.5、5.6、5.7、8.0 PolarDB MySQL引擎 所有版本 PolarDB PostgreSQL引擎 所有版本 PolarDB O引擎 所有版本 PolarDB-X（原DRDS）所有版本 RDS SQL Server 2008 R2...
创建安全联邦学习任务（任务模式）
场景描述 A有一张数据表demo_fl_alice_train_original用于记录人群属性（学历、工作经历等），标签是income；B有一张数据表demo_fl_bob_train_original用于记录人群属性（关系、民族等）。需求是 A想联合B数据，使用XGB，进行联合建模。可...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
公告
资产安全支持行业级别的多级数据分类体系，可以按照主题进行多层级的数据分类建设；系统内置安全行业模板，便于用户开箱即用；支持表负责人修改自己所负责表的分类分级，提升安全模块运营效率。通知中心新增通知设置功能，可设置消息通知的...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
发现并处理Redis的大Key和热Key
大Key和热Key产生的原因 未正确使用Redis、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：大key 在不适用的场景下使用Redis，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；...
识别规则及识别方式
仅继承最高分级，不继承分类：继承直接上游字段的最高数据分级，后续可在识别记录中手动指定数据分类。继承上游的最高分级及来源字段对应的分类结果：若多个字段敏感等级相同但分类不同，则按照分类优先级>识别记录的更新时间>分类修改时间...
HTAP中的行列混存查询优化
即先按照各个谓词的选择率排序，之后按照如下公式计算选择率：该算法在基于现实数据的大部分数据集中能有效地减少估计误差。优化效果评估 在TPCH 1 TB数据集上测试开启/关闭IMCI查询优化的性能。如下图所示：由上图可以看出，对于Q8和Q9的...
梯度提升决策树
功能说明 GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算法，由多棵决策树组成，是进行多分类的算法模型。梯度提升采用连续的方式构造树，每棵树都试图纠正前一棵树的错误。默认情况下，梯度提升决策树中没有随机化，而是...
风险识别管理（新版）
风险识别管理提供了多维度的关联分析及算法，智能化的分析技术帮助您通过风险识别规则，主动发现风险操作并预警，使用可视化方式进行一站式审计。DataWorks内置了多种场景的风险识别规则，您可以直接使用，也可以根据业务场景自定义规则。...
识别规则及识别方式
仅继承最高分级，不继承分类：继承直接上游字段的最高数据分级，后续可在识别记录中手动指定数据分类。继承上游的最高分级及来源字段对应的分类结果：若多个字段敏感等级相同但分类不同，则按照分类优先级>识别记录的更新时间>分类修改时间...
基于外卖评论实现舆情风控
PAI平台提供了一套基于文本向量化及分类的算法，可以基于历史标记的正负留言内容生成分类模型，从而自动预测新增留言的导向。该服务的整体框架已预置在 Designer 中，基于真实标记的11987条外卖平台评论数据，实现了自动化的正反向舆论风控...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
XGBoost
XGBoost(Extreme Gradient Boosting)，是一种高效的Gradient Boosting算法，集成算法的思路是迭代产生多个弱的学习器，然后将每个学习器的预测结果相加得到最终的预测结果，其在结构化数据处理方面具有较优良的性能。计算逻辑原理 XGBoost...
随机森林
随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。计算逻辑原理 随机森林就是种了很多决策树，对输入向量进行分类（回归）。每一棵...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
文档更新动态（2024年）
更新说明 新建及管理识别规则 查看数据分类预置模型 添加及管理识别结果 标签工厂-数据准备/资产市场 离线视图新增码表配置功能，在创建离线标签时，对应的标签字段自动匹配该码表，在下游使用该标签进行筛选时展示码值名称。行为关系的...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
功能更新动态（2024年）
新建及管理识别规则 查看数据分类预置模型 添加及管理识别结果 标签工厂 离线视图新增码表配置功能，在创建离线标签时，对应的标签字段自动匹配该码表，在下游使用该标签进行筛选时展示码值名称。行为关系的行为时间支持选择日期、文本数据...
什么是智能众包
数据分类：可支持对文本或图片的情感色彩、表述目的、语言内容做分类打标，主要应用场景包括评论内容中的垃圾广告监测、品牌的负面舆情监测。相关性评测：可支持多张图片的相似度判定、给定query的搜索结果准确情况评估，适合电商平台、...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
LightGBM算法
本文介绍了LightGBM算法相关内容。简介 LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的分布式梯度提升框架。设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
内置时空数据引擎Ganos
同时，为适合自动驾驶以及三维数据建模需求，Ganos提供了对大规模激光点云(LiDAR)数据存储和管理分析功能，支持多种高效压缩算法以及40多个空间关系、操作、统计值计算函数。支持构建广泛的行业生态解决方案 PolarDB Ganos可服务于政务、...
K均值聚类算法（K-Means）
本文介绍了K均值聚类算法（K-Means Clustering Algorithm，以下简称K-Means）相关内容。简介 K-Means算法是一种迭代求解的聚类分析算法。该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚...
- 产品推荐
- 这些文档可能帮助您