配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
读写数据集数据
如果您需要持久化存储DSW数据，需要创建NAS或OSS类型的数据集，并将数据集挂载到DSW指定的路径，以实现在DSW中读写数据集数据。本文为您介绍如何创建数据集和挂载数据集。步骤一：创建数据集 登录 PAI控制台，在工作空间的AI资产管理中创建...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
标注数据格式概述
iTAG 的标注结果为.manifest 格式，标注流程中，打标、质检、验收环节的数据格式如下。{"data":{"source":"oss:/*/pics/fruit/apple-1.jpg"},"label-xxxxx(任务id)":{"results":[{.},{.},{.}]/按照标注环节的题目顺序列出问题，其中每个...
AppendAllDataToTask-追加数据
任务追加数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 PUT/openapi/api/v1/tenants/{TenantId}/...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
Dataset
USER 来自用户 ITAG 来自标注平台 ITAG PAI_PUBLIC_DATASET PAI 公开数据集 枚举值：PAI_PUBLIC_DATASET：PAI_PUBLIC_DATASET。ITAG：ITAG。USER：USER。USER SourceId string 来源 ID。jdnhf*fnrimv Description string 描述。用于标注的...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
离线调度
背景信息 本工作流流程如下：通过历史数据，在阿里云机器学习平台上进行模型训练。通过大数据开发套件对模型进行调度。每天凌晨对广告投放进行CTR预测，甄选出符合标准的广告进行推送。本工作流数据集是通过Random算法随机生成的，因此不对...
数据可视化
本文以统计全表信息为例，为您介绍如何进行数据可视化。前提条件 完成数据准备与预处理，详情请参见 数据准备与预处理。操作步骤 登录 PAI控制台，进入工作流页面。操作详情请参见 step1：进入工作流页面。构建全表统计节点并运行。在组件...
UpdateDataset-更新数据集
更新数据集，支持更新名称，描述等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 PUT/api/v1/...
DeleteDataset-删除数据集
删除数据集。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/api/v1/datasets/{DatasetId} 请求...
PublishDataset-发布数据集
将私有数据集在工作空间内公开。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 PUT/api/v1/datasets/{...
列数据转向量
将多列数据转换为向量，最终生成的数据只包含一列。使用限制 支持的计算引擎为MaxCompute和Flink。算法简介 将数据格式从列数据转成Vector，数据格式必须为数值类型。可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游...
列数据转KV
组件为数据预处理组件，将多列数据转换为Key:Value格式的一列数据。使用限制 支持的计算引擎为MaxCompute和Flink。算法简介 将数据格式从多列转成Key:Value格式，用户可以指定Key之间的分隔符和Key与Value之间的分隔符。转换之后，多列数据...
DeleteDatasource-删除数据源
删除指定数据源。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/api/v1/instances/{InstanceId}...
CreateDatasource-创建数据源
创建数据源。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/v1/instances/{InstanceId}/...
模型及数据常见问题
本文为您介绍模型/数据的相关问题。点击模型部署-模型在线服务EAS，提示无模型可部署？每次运行是否可自动更新EAS模型服务？如何上传本地数据进行训练？Designer/Studio中的数据展示出现“blob”字符 点击模型部署-模型在线服务EAS，提示无...
DeleteTableMeta-删除数据表
删除数据表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/api/v1/tablemetas/{TableMetaId} ...
UpdateTableMeta-更新数据表
更新数据表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 PUT/api/v1/tablemetas/{TableMetaId} 请求...
CreateTableMeta-创建数据表
创建数据表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/v1/tablemetas 请求参数 名称 ...
创建及管理数据集加速实例
通过创建预付费数据集加速实例，可以提前确定数据集加速实例的容量大小，确保对关键训练任务的数据进行加速处理。本文为您介绍创建数据集加速实例的操作步骤及如何管理数据集加速实例。前提条件 如果首次使用数据集加速器，则需要对相关...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
OSS数据导入MaxCompute表
OSS数据导入MaxCompute表组件主要用于将OSS中的数据导入MaxCompute表。输入为数据文件所在的OSS目录，默认会读取该目录下所有数据文件。OSS中的数据文件（JSONL格式，示例）需要符合：每一行是一个合法的JSON对象，文件由多行JSON对象组成...
CreateDataset-创建数据集
调用CreateDataset创建一个数据集。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/v1/...
GetTableMeta-获取数据表
获取数据表详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/api/v1/tablemetas/{...
MaxCompute表导入OSS
表中的每一行数据导出为一个合法的JSON对象，导出文件（JSONL格式，示例）由多行JSON对象组成，整个文件本身不是合法的JSON对象。数据量大时可能会被切分为多个文件。支持的 计算资源 MaxCompute 配置组件 在Designer工作流页面添加 ...
GetDataset-获取数据集
获取数据集。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/api/v1/datasets/{DatasetId} 请求参数...
查看并管理分析平台表
分析平台表是指您在分析平台专用计算源中用 create table 语句生成的表集合。分析平台表页面为您展示了分析平台表的基本信息及相关管理操作，方便您查看创建的分析平台表并进行管理。本文为您介绍分析平台表列表及支持的管理操作。权限说明...
ListDatasourceTables-获取数据源下的数据表列表
获取指定数据源下的数据表的列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/api/v1/instances...
写数据表
写数据表组件将数据写入MaxCompute表。本文为您介绍写数据表的参数配置。前提条件 如果您需要写入分区表，则需要先创建待写入的分区表，再使用该组件写入数据，关于如何创建分区表，详情请参见 创建分区表。使用限制 支持的计算引擎为...
标签工厂概述
标签工厂是通过标签创建到服务全链路的构建，为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台，适合多种场景（如风控、营销），提供离线、实时、服务标签的开发、管理、探索以及服务能力，赋能上层各端业务应用，为企业...
新建Notebook
本文为您介绍如何基于Dataphin分析平台新建Notebook。权限说明 选择运行的项目时，仅支持选择账号所在的dev或basic的项目，且项目绑定了离线引擎。并且该账号在该项目中具备即席查询的执行权限点。操作步骤 请参见 分析平台入口，进入分析...
查看并管理分析平台表
分析平台表是指您在分析平台专用计算源中用 create table 语句生成的表集合。分析平台表页面为您展示了分析平台表的基本信息及相关管理操作，方便您查看创建的分析平台表并进行管理。本文为您介绍分析平台表列表及支持的管理操作。权限说明...
- 产品推荐
- 这些文档可能帮助您