DataWorks On Hologres使用说明
权限类型如下：通过 RAM Policy权限体系，管理DataWorks功能模块（例如，不允许用户访问数据地图）与DataWorks控制台的权限（例如，允许用户删除工作空间）。通过 RBAC权限模型，管理DataWorks空间级模块（例如，允许用户进入数据开发执行...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
DataWorks On MaxCompute使用说明
权限类型如下：通过 RAM Policy权限体系，管理DataWorks功能模块（例如，不允许用户访问数据地图）与DataWorks控制台的权限（例如，允许用户删除工作空间）。通过 RBAC权限模型，管理DataWorks空间级模块（例如，允许用户进入数据开发执行...
创建数据脱敏规则
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权...
区间检测
示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会随着时间变化而不断变化。如果配置一个固定阈值，例如低于1000就告...
区间检测
示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会随着时间变化而不断变化。如果配置一个固定阈值，例如低于1000就告...
区间检测
示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会随着时间变化而不断变化。如果配置一个固定阈值，例如低于1000就告...
OpenEvent概述
配置流程 了解上述原理后，您可根据实际情况规划并应用DataWorks的OpenEvent功能，实现关键事件的消息订阅，应用流程与配置要点如下。在 事件总线 EventBridge 控制台 开通事件总线EventBridge，创建自定义总线。在DataWorks端添加事件分发...
相关性实战
分词、匹配、相关性、排序表达式 针对目前若干用户遇到的搜索结果与预期不符合的问题进行统一详细说明，并以此为话题展开说明下OpenSearch在搜索效果方面的功能和后续一些工作方向。首先，对于搜索来讲，最常见的有两种做法：数据库的like...
相关性实战
分词、匹配、相关性、排序表达式 针对目前若干用户遇到的搜索结果与预期不符合的问题进行统一详细说明，并以此为话题展开说明下OpenSearch在搜索效果方面的功能和后续一些工作方向。首先，对于搜索来讲，最常见的有两种做法：数据库的like...
一致性检查
传入的上下文特征没有，或者在线服务没有构造出相关特征 特征值不匹配，在线的特征值的处理逻辑或者方法与离线的构造不一致 模型的特征处理逻辑有误，processor在打分之前，如果需要对特征的处理，比如EasyRec，这块特征处理涉及特征加载、...
创建空间服务API
SuperMap REST服务：超图地图服务，SuperMap工作空间数据。ArcGIS REST服务：地图服务。其他GIS服务：除以上这些服务外的GIS服务。服务URL 联系对应提供商获取。说明 URL地址示例：http://example.com/login API Path API调用时展示的固定...
用户窃电识别
本文为您介绍如何通过 Designer 预置工作流模板，快速构建窃漏电用户的识别模型，达到自动检查用户是否窃漏电的目的，从而大幅度降低稽查工作人员的工作量、保障用户正常用电及安全用电。背景信息 传统防窃漏电主要通过定期巡检、定期校验...
板块地图
例如：全国各省的设备数量分布情况、新冠疫情的确诊情况等，帮助您了解指定事件的区域分布特征。本文介绍板块地图组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件...
配置识别模板
检测敏感数据的原理为：本数据特征规则满足配置的特征规则且不满足配置的例外规则。字典匹配：输入关键词后按Enter。单个关键词长度为1~128个字符，可配置多个关键词。注意关键词内不能含有逗号，否则会认为是两个或多个按逗号分隔开的关键...
查看工作空间信息
您可通过数据地图查看当前租户下的工作空间列表以及工作空间的详细信息，并对工作空间的项目或数据库执行相关管理操作。进入工作空间 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入...
GeoServer简介
GeoServer是OpenGIS Web服务器规范的J2EE实现，利用GeoServer可以方便的发布地图数据，允许用户对特征数据进行更新、删除、插入操作，通过GeoServer可以在用户之间迅速共享空间地理信息。GeoServer兼容WMS和WFS两种OGC规范特性，支持...
GeoServer简介
GeoServer是OpenGIS Web服务器规范的J2EE实现，利用GeoServer可以方便的发布地图数据，允许用户对特征数据进行更新、删除、插入操作，通过GeoServer可以在用户之间迅速共享空间地理信息。GeoServer兼容WMS和WFS两种OGC规范特性，支持...
GeoServer简介
GeoServer是OpenGIS Web服务器规范的J2EE实现，利用GeoServer可以方便的发布地图数据，允许用户对特征数据进行更新、删除、插入操作，通过GeoServer可以在用户之间迅速共享空间地理信息。GeoServer兼容WMS和WFS两种OGC规范特性，支持...
组件参考：所有组件汇总
特征工程 特征重要性过滤 特征重要性过滤组件为线性特征重要性、GBDT特征重要性和随机森林特征重要性等组件提供过滤功能，支持过滤TopN的特征。主成分分析 该组件是研究如何通过少数主成分揭示多个变量间的内部结构，考察多个变量间相关性...
保障离线在线一致性的CTR预估方案
在该工作流中，PAI将特征分为以下两类：数值型特征：PAI使用归一化算法，将特征做归一化处理。离散型特征：PAI使用独热编码组件处理。最后将两类特征融合成一个向量，并使用FM算法训练模型并推理。运行工作流并查看输出结果。单击画布上方...
附录：数据地图权限管控能力总览
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
使用FM-Embedding实现推荐召回
在推荐业务场景中，使用 Designer 提供的整套FM-Embedding方案可以快速获得User和Item对应的特征向量，您只需要在召回模块对该特征向量进行乘积，即可得到User对Item的评分结果。本文为您介绍如何使用FM算法和Embedding提取算法，快速生成...
FeatureStore最佳实践
本文为您介绍在不使用阿里云其他产品的场景下，如何在推荐系统中应用特征平台FeatureStore SDK管理特征。背景信息 推荐系统是一种能够根据用户的兴趣和偏好，向用户推荐个性化的内容或产品的系统。在推荐系统中，提取和配置用户或物品的...
用户流失预警风控
本文为您介绍如何通过PAI提供的用户特征算法，快速构建用户流失模型。背景信息 业务发展过程中的重要环节包括开拓新用户和保留老用户。通过建立用户流失预警风控模型，可以预测潜在流失用户，从而提前通过运营手段防范用户流失。对于用户...
异常指标监控
PAI提供了特征编码、模型训练及模型评估全套功能，您只需要抽取异常行为特征，并对其进行标记，即可快速构建异常指标监控模型。背景信息 用户系统中的异常数据（例如运维系统的CPU消耗突然增高或某平台突然产生大量不良信息）属于平台异常...
类目导航管理：配置管理
本文为您介绍如何在数据地图的配置管理页面，配置类目导航、工作空间下的MaxCompute表管理等操作。背景信息 您需要添加相应权限才能进行配置管理的操作。阿里云主账号默认具有操作权限。拥有 AliyunDataWorksFullAccess 权限的RAM账号具有...
在推荐系统中应用FeatureStore管理特征
创建模型特征 在特征项目详情页面的 模型特征 页签，单击 新建模型特征，在弹出的页面中配置模型特征参数 参数 取值建议 模型特征名 自定义。本文以 fs_rank_v1 为例进行说明。选择特征 选择已创建的user特征视图和item特征视图。Label表...
使用FeatureStore Python SDK搭建推荐系统
特征视图定义了数据从哪里来（DataSource）、需要进行哪些预处理或转换操作（如特征工程/Transformation）、特征的数据结构（包含特征名称和类型在内的特征schema）、数据存储的位置（OnlineStore/OfflineStore），并提供特征元信息管理，...
PS线性回归
PS线性回归支持千亿样本、十亿特征的大规模线性训练任务。组件配置 您可以使用以下任意一种方式，配置PS线性回归组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 选择特征列 输入数据源中，...
数据服务API
数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位，实现数据服务API的高效查找。进入API查找界面 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 ...
FeatureStore常见问题
创建特征视图时报错password authentication failed/role does not exist，如何解决？创建特征视图时报错dial tcp:lookup hgpostcn-cn-xxx-cn-xxx.hologres.aliyuncs.com on 192.xxx.x.xx:xx: no such host，如何解决？当在线数据源为...
基于分箱组件实现连续特征离散化
特征离散是将连续的数据进行分段，使其变为多个离散化区间。针对该场景，PAI推出了分箱组件和数据转换模块组件。首先使用分箱组件将连续特征离散化，再使用 数据转换模块 将原始数据从连续值转换为离散值。本文为您介绍如何使用Designer...
心脏病预测
本工作流首先通过 类型转换 组件将输入特征转换为DOUBLE类型（因为逻辑回归模型的输入数据必须为DOUBLE类型），然后使用 过滤式特征选择 组件判断每个特征对于结果的影响（通过信息熵和基尼系数反映其影响）。同时，使用 归一化 组件将每个...
任务中心
FeatureStore 为您提供任务中心功能，记录了数据离在线同步、训练样本导出等任务的日志详细信息，您可以在特征项目中的任务中心中查看当前项目的所有任务及任务状态。前提条件 已创建特征项目。操作详情请参见 新建项目。操作步骤 进入特征...
发电场输出电力预测
本文为您介绍如何使用 Designer 预置的工作流模板，快速构建发电场输出电力预测模型。背景信息 本工作流基于综合循环发电场的发电数据，展示机器学习在工业生产中的应用。因为风力发电的输出电力通常决定了单位发电机能够生产的电能，所以...
Pipeline部署在线服务
Designer支持将一个包含数据预处理、特征工程、模型预测的离线数据处理pipeline，打包成一个Pipeline模型，并一键部署为EAS在线服务。使用限制 仅支持Alink框架的算法组件（即左上角有紫色小点标识的组件）。所有需要部署的模型涉及的训练...
MNS主题集成和消息发布
框架原理 应用部署后执行流程如下：执行工作流，任务步骤发布消息到MNS主题。任务步骤的 TaskToken 会被放入消息体一起发送到主题。工作流任务步骤暂停执行，等待任务回调。MNS主题接收到消息后，将消息和 TaskToken 通过 HTTP推送 发送到...
- 产品推荐
- 这些文档可能帮助您