管理样本数据集
实例中不能存在与数据集同名的数据库 adb_sampledata_tpch，如果存在同名数据库，会导致数据集加载失败。数据集加载耗时约6~8分钟，数据集加载期间可能会影响实例的其它操作，例如新增节点、节点规格变配等。新建实例加载样本数据集 登录 ...
加载样本数据集
实例中不能存在与数据集同名的数据库 adb_sampledata_tpch，如果存在同名数据库，会导致数据集加载失败。数据集加载耗时约6~8分钟，数据集加载期间可能会影响实例的其它操作，例如新增节点、节点规格变配等。操作步骤 登录 云原生数据仓库...
工业视觉智能基本概念
数据集 工业视觉智能产品的视觉智能模型通过深度学习来获得，而深度学习依赖于用户上传的样本数据，样本数据以数据集的形式进行组织与管理，避免对海量非结构化数据的查找。并能灵活的进行数据集的交叉组合及数据集内的数据筛选。用户可以...
功能特性
查看敏感数据识别结果 识别订正 对数据识别任务识别出的数据，支持管理员通过查看数据样本的方式来验证识别结果是否准确；对识别结果不准确的字段，支持管理员手动订正。订正任务 数据安全基线 安全基线核查 基线核查以GB/T 37988-2019...
横向分箱
【等频分箱】是将连续数据划分为等频的桶，即每个桶内包含相同数量的数据样本，例如将一个数值范围为0到100的连续数据分成10个桶，每个桶内包含10个样本。【卡方分箱】是最优分箱的一种，它的基本思想是根据卡方检验的统计方法对连续变量...
分箱
【等频分箱】是将连续数据划分为等频的桶，即每个桶内包含相同数量的数据样本，例如将一个数值范围为0到100的连续数据分成10个桶，每个桶内包含10个样本。【卡方分箱】是最优分箱的一种，它的基本思想是根据卡方检验的统计方法对连续变量...
基本概念
数据集 自学习平台的视觉AI模型通过深度学习获得，而深度学习依赖用户上传的样本数据，样本数据以数据集的形式进行组织与管理，避免对海量非结构化数据的查找，并能灵活地进行数据集的交叉组合及数据集内的数据筛选。用户可以以数据集的...
样本管理操作指南
比如，您上传一批手机号样本，线上接口传输的是手机号Md5，则您的样本的数据类型也需要是手机号Md5，否则线上无法生效。样本描述：支持汉字、字母、数字、下划线，不超过64个字符。上传方式：文件上传：支持大批量样本上传，请在控制台下载...
类目预测功能介绍
由于没有行为数据，样本打标签没有依据，那么会使用另一类算法来训练模型，仅通过query和类目下物品标题的文本数据，进行分词后，计算query文本与物品标题文本的语义相关度，得到query与类目的相关度。使用行为数据的模型效果要优于不使用...
UnloadSampleData-卸载样本数据集
释放AnalyticDB PostgreSQL版的样本数据集。接口说明 本接口用于释放 AnalyticDB PostgreSQL 版数据库中的样本数据集。您必须已经加载过样本数据集才能释放样本数据集。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
创建隐私求交
说明 如果各参与方的数据当前已完成样本匹配，也需要通过隐私求交完成 ID 列求交集的操作。前提条件 各参与方机构已拥有可用的离线样本。操作步骤 登录多方安全建模控制台。在左侧导航栏，单击 模型开发>隐私求交。在 隐私求交 页面，单击...
产品功能
数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析），解析后可查看数据的样本量，并查看样本特征摘要，解析特征分布情况。数据切分 支持按照自定义...
查询治理
前提条件 目标数据库实例为：RDS MySQL PolarDB MySQL版 MyBase MySQL RDS PostgreSQL 当前支持中国内地、中国香港和新加坡地域的数据库实例。说明 从2023年04月01日起，查询治理功能支持中国香港和新加坡地域的数据库实例。视频教程 限制...
数据探索函数
threshold"：与相邻样本的最小垂直距离。distance"：相邻极大值之间的最短距离。sortColIdx：必选。bigint类型。用来排序的数值列的序号。valueColIdx：必选。bigint类型。被排序的数值列的序号。sortCol：必选。double类型。用来排序的...
基本概念
表结构 表结构定义了数据表中指定的数据字段，以及每组数据字段的数据类型和字段描述。表结构模板 表结构模板是多个数据表共同遵循的表结构。保护开关 启用安全配置的开关。分组键 在模型训练中参与条件分割的字段。服务集成 服务集成是当...
查看数据安全配置
在多方安全分析控制台中，进行数据分析前，需要先确认离线样本的使用限制。离线样本的使用限制取决于原始数据的安全配置。数据安全配置说明 离线样本被授权到多方安全分析项目时，数据所有方会定义离线样本的目标字段是否为关联键或分组键...
利用实体批量投递运行任务
本文通过实际案例，展示了如何使用实体表格和应用模板，来批量投递的10个样本的分析运行任务。假设用户有10个全基因组测序的样本数据需要分析，我们通过以下步骤详细介绍如何通过基因分析平台来“一键”高效简便的完成所有工作。创建工作...
免费体验PolarDB for AI
为了帮助您更好地理解并且体验NL2SQL能力，PolarDB构建了 NL2BI解决方案：NL2BI是指「BI服务+NL2SQL」，即结合PolarDB数据库NL2SQL能力以及PolarDB高效数据查询和分析能力，基于内置的样本数据集和提问示例进行场景化体验，并以可视化图表...
配置规则：按模板（批量）
完成后单击 试跑，去校验该表该分区下的数据是否符合当前配置的数据质量校验规则。试跑后您可以单击操作列的 试跑记录，查看试跑状态详情，并进行相应的处理。说明 试跑错误的可能原因为：表或表分区不存在、表数据不符合质量校验规则。...
获取执行失败的样本数据
调用GetQueryOptimizeExecErrorSample接口，获取执行失败的样本数据。接口说明 在使用阿里云 SDK 时，需要保证 aliyun-sdk-core 的版本大于 2.1.8，建议使用最新版本。使用 DAS 的 SDK 的版本为 2.1.8 或以上。在使用 SDK 调用 DAS 服务时...
ListQualityResultsByRule
ActualExpression String ds=20200925 被校验的数据源表的实际分区。ExternalId String 123112232 调度任务的节点ID。TimeCost String 10 执行校验任务花费的时间。Trend String up 校验结果的趋势。ExternalType String CWF2 调度系统的...
ListQualityResultsByEntity
ActualExpression String ds=20200912 被校验的数据源表的实际分区。ExternalId String 1112323123 调度任务的节点ID。TimeCost String 202 执行校验任务花费的时间，单位为秒。Trend String abs 校验结果的趋势。ExternalType String CWF2...
查看数据
在数据详细信息页面可以查看该数据样本中的所有字段和字段类型。查看联邦表 联邦表是通过脚本文件生成的，生成的联邦表均保存在建模数据下的联邦表文件夹中。说明 联邦建模控制台初始状态时，联邦表文件夹为空。联邦表文件夹中存在两种联邦...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
功能特性
功能集 功能 功能描述 参考文档 资源计费 读流量 按照实际传输的数据量计费 产品定价 存储容量 按照实际的存储量计费 产品定价 公网流量 使用阿里云公网进行的网络传输数据流量 产品定价 活跃shard租用 Shard租用只统计当前状态为活跃...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
云监控控制台查看监控
Inactive datapart个数 不活跃的数据分片个数。CPU使用率 集群各节点的平均CPU使用率。内存使用率 集群各节点的平均内存使用率。每秒写入大小 集群各节点每秒写入的数据量。单位：MB。QPS 每秒处理的查询数目。每秒写入行数 集群各节点每秒...
网络类型
所有经典网络类型的数据库都建立在一个共用的基础网络上。数据库之间不通过网络进行隔离，只能依靠数据库自身的安全策略来阻挡非法访问。VPC：是逻辑隔离的私有网络，用户可以自定义网络拓扑和IP地址，支持通过专线连接。相对经典网络而言...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
BigQuery数据源
创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建并管理数据源。以下对BigQuery数据源的几个配置项进行说明：BigQuery Project ID：Google BigQuery的项目名。BigQuery授权认证信息：...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
分组聚合查询优化
因为数据已经经过了局部聚合，所以需要网络传输的数据较少，网络压力较小。数据重分布完成后，执行最终聚合，在最终聚合节点，需要把一个分组的值及其聚合状态维护在内存中，直到所有数据处理完成，以确保某个特定的分组值没有新的数据需要...
人脸人体介绍
添加人脸样本 向人脸数据库中添加人脸样本数据。查询人脸样本 查询人脸数据库中的人脸样本数据。查询人脸样本列表 查询人脸数据库中的人脸样本列表。更新人脸样本 更新人脸数据库中的人脸样本数据。添加人脸数据 为指定数据库添加人脸数据...
网络连通解决方案
数据源在VPC内-VPC和Dataphin不在同一地域 在Dataphin所在地域新建一个VPC网络的ECS。使用高速通道或VPN连通两个VPC（ECS的VPC和数据源的VPC）。在Dataphin中添加数据源时，绑定ECS的VPC。添加Dataphin的IP地址（VPC网络下Dataphin的出网IP...
添加实时数仓Hologres数据源
在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 实时数仓Hologres。在列表中选择 内网，并选择Hologres实例所在的区域。选择内网数据库的网络类型（包括 专有网络 和 经典网络）。专有网络 打开 VPC 开关，进入 ...
通过样本库识别
您可以在数据样本管理页面查看所有已创建样本库包含的样本个数及关联的数据识别规则。单击目标样本库 操作 列的 图标，即可查看该样本库的数据详情。修改样本库文件。单击目标样本库 操作 列的 图标，您可以为样本库上传新的样本文件，或...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
- 产品推荐
- 这些文档可能帮助您