圈选任务数据说明
圈选任务输入数据说明 准备输入数据 当您的训练数据集和预测数据集完全一致时，即user_id是完全相同的一批数据，您只需按照下方输入数据格式说明准备人群数据即可。说明 您无需准备特征数据，系统会从人群圈选任务关联的策略训练任务的输入...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
配置SAP HANA输出组件
同时您也可以单击 数据源 后的 新建，添加数据源，详情请参见 创建SAP HANA数据源 表 系统支持的读取TXT和格式的文件。加载策略 选择字段的加载策略。系统支持选择追加数据和覆盖数据的策略。追加数据策略下，当指主键、约束冲突时，系统会...
配置SAP HANA输出组件
系统支持选择追加数据和覆盖数据的策略。追加数据策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 非必选项，选择输出数据前后的一些操作。...
续费
在阿里云官网，鼠标悬停至 产品分类 后，再将鼠标悬停至左侧导航栏的 大数据 上，单击 数据开发和治理 列下的 Dataphin。进入 续费 页面：在Dataphin产品详情页，单击 管理控制台。Dataphin管理控制台根据实例的状态，为您提供不同的续费...
API概览
本产品（人工智能平台 PAI-特征平台/2023-06-21）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
排序
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。系统根据预置的模板，自动构建工作流，如下图所示。组件编号 描述 1 排序模型的样本。2 ...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
安全合规资质
为了确保用户在使用PAI（平台名称）时的数据安全和合规性，我们专注于获取并维持最高标准的安全合规资质。本文档详细介绍了PAI所获得的安全合规资质，并解释了这些资质对您的业务和数据保护的具体意义。资质名称 适用范围 资质说明 ISO ...
网络方案概述
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时，若已有的数据源部署在本地IDC机房，首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务并且当前租户已...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
AI加速概述
PAI-AI加速器主要用于训练加速和推理加速，它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 ...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
命令列表
您可以通过客户端工具管理 DLC 中的任务和数据。本文介绍客户端工具提供的常用命令。客户端工具提供了用户认证等命令，命令列表如下。类别 shi命令 准备工作 自动补全（completion）用户认证（config）提交命令 提交TensorFlow训练任务...
快速入门
如果您是首次使用智能数据建设与治理Dataphin，您可以参考快速入门文档，了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
创建短信发送计划
智能圈选准备的训练数据和预测数据中，behavior表和operation表的数据配置要求如下：behavior表的每行数据需包含 kvs_num 和 behavior 字段。其中 kvs_num 的格式为：k1:v1，例如：hh21:1表示21点，频次为1；behavior 需包含click、login或...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
功能特性
智能咨询回访服务 提供一体化的售前咨询和售后回访服务 坐席管理 智能营销线索获取服务 一体化提供对客智能转化服务 坐席管理 智能营销服务 功能集 功能 功能描述 参考文档 效果付费 运营商业务推广营销（邀约制）智能营销涵盖投前数据洞察...
模型及数据常见问题
方法3：前往DataWorks数据开发中进行建表和数据上传，详情请参见 建表并上传数据。PAI Designer/Studio中的数据展示出现blob字符 现象描述 在画布中，右键单击组件，在快捷菜单，单击 查看数据 时，部分文本显示为 blob 字符。解决方法 ...
什么是DSW
AIGC和大模型 Notebook Gallery提供了海量前沿案例，以Notebook的形式介绍了热门场景的最佳实践，如Stable Diffusion、Llama2、通义千问等。用户可以直接在DSW运行这些教程，在实践中学习，也可以基于教程二次开发，打造自己的创意场景。AI...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。前提条件 若您需下载即席查询的...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
概览页
基础数据 基础数据中汇总了指定时间区间内，所有质检文件数量统计数据，包括数据集质检和呼叫中心质检，各数据含义如下：名称 解释 文件总数 指定时间区间内进行质检分析的文件总数 命中数 指定时间区间内进行质检分析的文件中，存在命中...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
- 产品推荐
- 这些文档可能帮助您