Label Encoder
一、组件说明 Label Encoder是一种用于将离散分类变量转换为数值变量的编码方法。它将每个离散变量的取值映射到一个整数，从而将离散变量转换为连续变量。例如，一个有三个取值的离散变量“颜色”（红色、绿色、蓝色），使用Label Encoder...
创建与管理限界上下文
限界上下文是基于业务场景与业务规则进行领域划分，抽象出来的业务单元，限界上下文是一个相对自闭环的能实现一定业务功能的整体。例如：商品上下文、交易上下文。创建了限界上下文后，您可以进一步进行领域模型、数据模型等设计。本文介绍...
分场景排错指引
您需要按照DDL定义的字段类型映射关系一对一匹配，详情请参见对应DDL文档类型映射文档，例如 日志服务SLS源表类型映射。查看源表Taskmanager.log日志中是否有异常信息。如果有异常报错，请先按照报错提示处理问题。查看源表Taskmanager.log...
Parquet
本文为您介绍Parquet格式的使用方法和类型映射。使用限制 Parquet 格式允许读写Parquet数据。仅对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）支持读取Parquet格式的数据。使用示例 利用OSS和Parquet格式创建表的示例如下。CREATE ...
时区
因为地球自转越来越慢，每年都会比前一年多出零点几秒，每隔几年协调世界时组织都会给世界时加一秒，让基于原子钟的世界时和基于天文学（人类感知）的格林尼治标准时间相差不至于太大。并将得到的时间称为UTC，这是现在使用的世界标准时间...
用户标签
用户标签表记录用户的一系列特征属性。通过为字段配置标签别名的方式给用户打标签，在使用标签时，实质上是在使用对应的字段。基于用户标签数据，可以形成 用户画像，可以进行 透视分析、人群筛选 等。导入完成后，用户标签表中的标签将...
推荐解决方案综述
使用如下任何一种算法挖掘特征（User和Item本身特征、User-Item交叉特征及Context特征）：挖掘特征工程：特征工程。自动挖掘Autocross特征：Auto ML自动特征工程使用说明。使用FM算法自动挖掘二阶交叉特征：使用FM-Embedding实现推荐召回。...
横向LabelEncoder
一、组件说明 Homo Label Encoder是一种用于将离散分类变量转换为数值变量的编码方法，适用于横向联邦场景。它将每个离散变量的取值映射到一个整数，从而将离散变量转换为连续变量。例如，一个有三个取值的离散变量“颜色”（红色、绿色、...
Min-Max归一化
一、组件说明 在联邦学习任务中，Min-Max归一化，也称为离差标准化，是一种常见的数据预处理方法，在机器学习中广泛应用。它的目的是将数值类型数据缩放到一个指定的范围内，通常是[0,1]或[-1,1]。通过 Min-Max 归一化，使得不同特征之间的...
格网聚合层（v4.x版本）
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
选型指导
通过数据诊断可以分析用户特征、物品特征中特征的有效性，分析用户行为表是否正确，并且决定推荐算法定制中的特征和配置参数。推荐算法定制可以帮助用户生成相关代码，快速产出召回和排序相关的数据和模型。二、资源选型 构建完整的推荐...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化...相关文档 基于Hadoop集群支持Delta Lake或Hudi存储机制的湖仓一体方案，请参见 基于Hadoop集群支持Delta Lake或Hudi存储机制。
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
DML操作：INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 所需权限 授权方法 RDS SQL Server实例 待同步数据库的所有者权限。修改账号权限 云原生数据仓库AnalyticDB PostgreSQL实例 LOGIN权限。目标表的SELECT、CREATE、INSERT、...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
DML操作：INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 所需权限 授权方法 RDS SQL Server实例 待同步数据库的所有者权限。修改账号权限 云原生数据仓库AnalyticDB PostgreSQL实例 LOGIN权限。目标表的SELECT、CREATE、INSERT、...
使用e_dict_map、e_search_dict_map函数进行数据富化
背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数，两者区别如下所示：普通映射函数使用文本完全匹配方式来映射。普通映射函数包括 e_dict_map 函数和 e_table_map 函数，两者区别在于e_dict_map函数接收的是dict类型...
基本概念（V4）
忠诚度标签：基于 用户行为表、订单明细表 数据，将用户最后一次或首次行为的时间等维度特征或距今天数，或者累计行为天数作为标签值。例如：最近一次购买/访问时间或距今天数、累计消费/活跃天数。购买力标签：基于 用户行为表、订单明细...
如何查看模板中的Map值
Fn:Select:key-Fn:FindInMap:MapName-TopLevelKey-SecondLevelKey 您也可以通过多次嵌套Fn:Select函数的方法获取非Mappings中多层映射中的值。更多信息，请参见 Fn:Select。Fn:Jq 您可以通过设置多个筛选器来满足多层查找的需求。更多信息...
Hibernate 连接 OceanBase 数据库
资源注册(实体类映射文件)-><mapping resource="./UserModel.hbm.xml"/></session-factory>测试准备 实体类 public class User implements Serializable { private Integer id;private String username;private Date birthday;private ...
Hibernate 连接 OceanBase 数据库
资源注册(实体类映射文件)-><mapping resource="./UserModel.hbm.xml"/></session-factory>测试准备 实体类 public class User implements Serializable { private Integer id;private String username;private Date birthday;private ...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
飞线层（v4.x版本）
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
UDF开发（Java）
调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨项目分享语句示例：select B:udf_in_other_...
插件数据集
如果在大型的应用后端，有几十个上百个网段需要配置到IP访问控制插件中，用户就会遇到两个问题：文本管理太容易出错，修改一个IP段，需要全量更新整个插件 IP段太多会导致插件文本超限 上面两个问题在目前基于文本配置的插件体系是无法解决...
基本概念
富化/映射 日志包含的信息不完整时，需要借助外部信息进行完善，对日志的一个或多个字段通过映射完善出更多信息的过程叫做富化或者映射。例如某个请求包含HTTP状态码status，可以通过如下表格富化出新字段HTTP状态描述status_desc：富化前 ...
使用canal同步
源表和目标Tablestore表中字段映射 canal支持源表到目标Tablestore表的字段名称以及字段类型映射，对应于dbMapping.targetColumns字段中的映射配置。支持作为目标类型配置在$后面的字段类型请参见下表。源表中字段类型 目标Tablestore表中...
文档更新动态（2024年）
更新说明 通过表映射创建离线视图 通过SQL加工创建离线视图 通过表单加工创建离线视图 标签资产市场概述 创建及管理标签离线服务任务 分析平台-基于分析平台创建SQL查询/基于分析平台创建NoteBook Notebook和SQL查询支持访问MySQL、Oracle...
功能更新动态（2024年）
新建及管理数据标准 新建及管理标准集 新建和管理标准代码（码表）新建和管理词根 有效映射关系管理 无效映射关系管理 数据质量 质量监控告警配置升级：支持给不同的规则配置不同的告警方式以实现区分告警，告警范围包括所有规则、所有强...
约束规范
服务发布规范定义了服务发布中的命名规则、协议选择和映射关系，以及其他的一些规范信息。命名规范 服务组名称：只允许使用中英文字符、数字、短划线（-）和下划线（_），不允许有空格。服务全名：不可以为中文，只能使用数字，字母和短...
2017年
优化和提升：优化了大盘控件数据集设置的方法，将基本指标和复合指标融合在一起展示。优化了新人提示逻辑，新人提示默认仅在第一次登录时打开。V2.2.6.2 发布时间：2017-09-23 新特性：交互式大盘支持热力图。新增异常切分器，支持Java ...
计量图（Pro版本）
例如使用图中的查询与分析语句统计各个请求方法对应的请求数量，并通过计量图（Pro版本）展示。您可以在 字段配置 中，为各个条形设置不同的颜色，图表效果如下图所示。A>POST 表示对查询分析A中的 POST 列进行配置，将该列对应的条形图...
基于OSS-HDFS构建数据湖
本文为您介绍基于OSS-HDFS构建数据湖的使用方法。背景信息 OSS-HDFS（JindoFS）是一款云原生数据湖存储服务，相比原生OSS存储，OSS-HDFS与Hadoop生态计算引擎无缝集成，在典型的基于Hive和Spark的离线ETL场景拥有更好的表现。OSS-HDFS详情...
模块开发
模块结构 ROSTemplateFormatVersion:'2015-09-01' Description:模块描述信息，可用于说明模块的适用场景、架构说明、使用方法等。Metadata:#模块的元数据信息，例如存放用于可视化的布局信息。Parameters:#模块参数，使用模块时，可以在...
基于JWT的token认证
阿里云API网关在Json Web Token（JWT）这种结构化令牌的基础上实现了一套基于用户体系对用户的API进行授权访问的机制，满足用户个性化安全设置的需求。一、基于token的认证 1.1 简介 很多对外开放的API需要识别请求者的身份，并据此判断所...
API网关灰度发布最佳实践
本文主要用于介绍在API后端服务版本迭代过程中，新版本服务正式发布前通过API网关进行灰度发布，A/B Test的通用方法实践。该方法的核心是通过配置后端路由插件来确保可以控制服务升级对用户造成的影响。一、概述 灰度发布是指在API的新、旧...
业务建模概述
BizWorks基于领域驱动设计方法论的模型设计平台，提供了对业务域、领域模型、数据模型的可视化建模能力，完成了业务建模过程的可视化、在线化。业务建模平台 的 概览 页包括以下内容：序号 名称 描述 ① 业务建模概述 统计业务建模对应的...
IETab
close close()方法描述 关闭浏览器对象 调用样例-rpa.app.ie.IETab.close-#注意事项：此方法仅能基于IETab实例对象进行操作#代码调用样例如下：page=rpa.app.ie.create('www.taobao.com')page.close()navigate navigate(url,wait=True,...
创建并配置发布环境
如果您配置了跨项目依赖映射至新的项目，DataWorks将根据映射关系修改节点的依赖关系，请确保映射的工作空间可正常添加依赖。常见的无法正常添加依赖的情况，请参见 提交节点报错：当前节点依赖的父节点输出名不存在。MaxCompute引擎类任务...
导入发布包
针对导入的有效映射关系在当前目标环境中是无效映射的场景，支持 将“无效映射”置为“有效映射”或 保留“无效映射”，跳过不更新。将“无效映射”置为“有效映射”：将目标环境中的无效映射关系置为有效映射，若目标环境中无效映射关系...
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
- 产品推荐
- 这些文档可能帮助您