敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
数据下载配置
数据类型 支持 样例数据 和 完整数据。可选择开启或关闭其中任一数据是否支持下载或需要审批。是否支持下载 默认开启，开启后该项目数据结果可被下载；若关闭，则该项目数据结果不可被下载。是否需要审批 当是否需要审批 开启 时，需选择...
数据下载配置
数据类型 支持 样例数据 和 完整数据。可选择开启或关闭其中任一数据是否支持下载或需要审批。是否支持下载 默认开启，开启后该项目数据结果可被下载；若关闭，则该项目数据结果不可被下载。是否需要审批 当是否需要审批 开启 时，需选择...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
读写数据集数据
系统为使用公共资源组创建的DSW实例提供一定存储空间的云盘，用于持久化存储。如果该实例停机超过15天未开机，云盘的内容将被清空...后续只要您的NAS盘和服务正常运行，数据和代码就可以持久化存储。OSS数据集挂载到DSW的/mnt/data_oss 目录。
MaxCompute表导入OSS
数据量大时可能会被切分为多个文件。支持的 计算资源 MaxCompute 配置组件 在Designer工作流页面添加 MaxCompute表导入OSS 组件，并在界面右侧配置相关参数：参数类型 参数 是否必选 描述 默认值 字段设置 OSS存储目录 是 导出数据的OSS...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
新功能发布记录
2023-09-07 新加坡正式开服 新增 智能开放搜索 OpenSearch-智能问答版在新加坡正式开服 2023-08-23 支持多轮对话、自定义Prompt参数 新增 支持多轮对话、自定义Prompt参数 2023-08-11 支持多模型可选择，优化非结构话数据导入和人工干预 ...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
模型及数据常见问题
方法3：前往DataWorks数据开发中进行建表和数据上传，详情请参见 建表并上传数据。PAI Designer/Studio中的数据展示出现blob字符 现象描述 在画布中，右键单击组件，在快捷菜单，单击 查看数据 时，部分文本显示为 blob 字符。解决方法 ...
项目安全策略
资产安全策略 安装后可使用数据安全策略，进行敏感数据识别和数据脱敏。默认项目生成后自动安装，安装成功后可以更新和修改生效状态。如果您还没有安装资产安全策略，您可以单击 安装，进行安装。如果已经安装资产安全策略，您可以查看安装...
异常指标监控
如果能实时高效地监控平台指标，并对各种异常指标进行预防和实时预警，将大幅度提升平台的智能化安全防卫能力。解决方案 PAI提供了一套基于指标监控的分类算法，将异常指标监控抽象为二分类场景，并将监控模型部署至在线系统，从而实现近线...
概览页
基础数据 基础数据中汇总了指定时间区间内，所有质检文件数量统计数据，包括数据集质检和呼叫中心质检，各数据含义如下：名称 解释 文件总数 指定时间区间内进行质检分析的文件总数 命中数 指定时间区间内进行质检分析的文件中，存在命中...
续费
Dataphin服务到期之后，为不影响您的正常使用，建议您在14天之内完成续费操作，期间系统将暂停所有的任务，但会为您保留数据和资源。若您14天内未完成续费，系统将会清空所有任务并释放资源，详情请参见 到期提醒与停机策略。说明 续费时不...
排序
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。系统根据预置的模板，自动构建工作流，如下图所示。组件编号 描述 1 排序模型的样本。2 ...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
什么是DSW
AIGC和大模型 Notebook Gallery提供了海量前沿案例，以Notebook的形式介绍了热门场景的最佳实践，如Stable Diffusion、Llama2、通义千问等。用户可以直接在DSW运行这些教程，在实践中学习，也可以基于教程二次开发，打造自己的创意场景。AI...
创建短信发送计划
智能圈选准备的训练数据和预测数据中，behavior表和operation表的数据配置要求如下：behavior表的每行数据需包含 kvs_num 和 behavior 字段。其中 kvs_num 的格式为：k1:v1，例如：hh21:1表示21点，频次为1；behavior 需包含click、login或...
用户窃电识别
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。在工作流列表，双击 用户窃电识别 工作流，进入工作流。系统根据预置的模板，自动构建工作...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
功能特性
智能咨询回访服务 提供一体化的售前咨询和售后回访服务 坐席管理 智能营销线索获取服务 一体化提供对客智能转化服务 坐席管理 智能营销服务 功能集 功能 功能描述 参考文档 效果付费 运营商业务推广营销（邀约制）智能营销涵盖投前数据洞察...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
合规&认证
Dataphin智能数据建设与治理作为瓴羊开发云领域的核心产品，⾼度重视产品的合规性并积极对标国内和国际最⾼标准合规性要求。当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在...
灵骏常见问题
智能计算灵骏集群采用专为大规模AI计算场景所设计的系统架构和多层性能优化技术，能充分利用整体的计算、通信和内存能力。在并行度极高的大规模计算场景，比如自然语言处理、自动驾驶模型训练、推荐引擎等，相比普通GPU托管服务可以减少...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
人工干预
使用介绍 目前支持对问答测试不符合预期的数据进行干预。用户实现干预操作的过程通常有以下几步：1、创建问答，可通过配置中心->人工干预进入到人工干预页面，点击 创建。2、新建问题及答案，先添加标准答案，也可根据实际问答场景添加可能...
租户设置
通过创建多个租户，可以对不同租户分配不同的数据单元以及功能模块，并能够保证租户间数据隔离，满足不同租户的不同要求。本文为您介绍如何新建、编辑、删除以及恢复租户。权限说明 仅元仓租户的超级管理员与系统管理员支持新建及管理租户...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
概览
使用paiio读写MaxCompute表数据 快速提交MPIJob训练任务 Blade RetinaNet优化案例1：使用Blade优化RetinaNet（Detectron2）模型 RetinaNet优化案例2：结合Blade和Custom C++ Operator优化模型 RetinaNet优化案例3：结合Blade和TensorRT ...
数据传输方案
准备好智能圈选数据后，您可以使用阿里云对象存储OSS或DataWorks两种传输方案上传数据。使用阿里云对象存储OSS 推荐使用阿里云对象存储OSS(Object Storage Service)进行数据传输。重要 使用OSS数据前需要在网页端一键授权OSS访问权限，并为...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
治理项管理流程
治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...
- 产品推荐
- 这些文档可能帮助您