命令列表
您可以通过客户端工具管理 DLC 中的任务和数据。本文介绍客户端工具提供的常用命令。客户端工具提供了用户认证等命令，命令列表如下。类别 shi命令 准备工作 自动补全（completion）用户认证（config）提交命令 提交TensorFlow训练任务...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
续费
请您仔细核对购买信息并阅读 智能数据构建与管理服务协议，确认无误后选中《智能数据构建与管理服务协议》。单击 去支付，支付成功后即可完成续费。说明 系统仅支持按照已购买的配置进行续费。自动续费 进入 阿里云用户中心。在 用户中心 ...
读写数据集数据
如果您需要持久化存储DSW数据，需要创建NAS或OSS类型的数据集，并将数据集挂载到DSW指定的路径，以实现在DSW中读写数据集数据。本文为您介绍如何创建数据集和挂载数据集。步骤一：创建数据集 登录 PAI控制台，在工作空间的AI资产管理中创建...
MaxCompute表导入OSS
数据量大时可能会被切分为多个文件。支持的 计算资源 MaxCompute 配置组件 在Designer工作流页面添加 MaxCompute表导入OSS 组件，并在界面右侧配置相关参数：参数类型 参数 是否必选 描述 默认值 字段设置 OSS存储目录 是 导出数据的OSS...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
模型及数据常见问题
方法3：前往DataWorks数据开发中进行建表和数据上传，详情请参见 建表并上传数据。PAI Designer/Studio中的数据展示出现blob字符 现象描述 在画布中，右键单击组件，在快捷菜单，单击 查看数据 时，部分文本显示为 blob 字符。解决方法 ...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
用户窃电识别
通常供电局通过计量异常报警功能和电能量数据查询功能，人工在线监督用户用电情况。例如通过采集电量异常、负荷异常、终端报警、主站报警及线损异常等信息监测窃漏电情况及计量装置故障，或根据报警事件发生前后客户计量点电流、电压及负荷...
功能特性
智能咨询回访服务 提供一体化的售前咨询和售后回访服务 坐席管理 智能营销线索获取服务 一体化提供对客智能转化服务 坐席管理 智能营销服务 功能集 功能 功能描述 参考文档 效果付费 运营商业务推广营销（邀约制）智能营销涵盖投前数据洞察...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
什么是DSW
AIGC和大模型 Notebook Gallery提供了海量前沿案例，以Notebook的形式介绍了热门场景的最佳实践，如Stable Diffusion、Llama2、通义千问等。用户可以直接在DSW运行这些教程，在实践中学习，也可以基于教程二次开发，打造自己的创意场景。AI...
创建短信发送计划
智能圈选准备的训练数据和预测数据中，behavior表和operation表的数据配置要求如下：behavior表的每行数据需包含 kvs_num 和 behavior 字段。其中 kvs_num 的格式为：k1:v1，例如：hh21:1表示21点，频次为1；behavior 需包含click、login或...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
排序
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。系统根据预置的模板，自动构建工作流，如下图所示。组件编号 描述 1 排序模型的样本。2 ...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
合规&认证
Dataphin智能数据建设与治理作为瓴羊开发云领域的核心产品，⾼度重视产品的合规性并积极对标国内和国际最⾼标准合规性要求。当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在...
灵骏常见问题
智能计算灵骏集群采用专为大规模AI计算场景所设计的系统架构和多层性能优化技术，能充分利用整体的计算、通信和内存能力。在并行度极高的大规模计算场景，比如自然语言处理、自动驾驶模型训练、推荐引擎等，相比普通GPU托管服务可以减少...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
租户设置
通过创建多个租户，可以对不同租户分配不同的数据单元以及功能模块，并能够保证租户间数据隔离，满足不同租户的不同要求。本文为您介绍如何新建、编辑、删除以及恢复租户。权限说明 仅元仓租户的超级管理员与系统管理员支持新建及管理租户...
人工干预
使用介绍 目前支持对问答测试不符合预期的数据进行干预。用户实现干预操作的过程通常有以下几步：1、创建问答，可通过配置中心->人工干预进入到人工干预页面，点击 创建。2、新建问题及答案，先添加标准答案，也可根据实际问答场景添加可能...
概览
使用paiio读写MaxCompute表数据 快速提交MPIJob训练任务 Blade RetinaNet优化案例1：使用Blade优化RetinaNet（Detectron2）模型 RetinaNet优化案例2：结合Blade和Custom C++ Operator优化模型 RetinaNet优化案例3：结合Blade和TensorRT ...
数据传输方案
准备好智能圈选数据后，您可以使用阿里云对象存储OSS或DataWorks两种传输方案上传数据。使用阿里云对象存储OSS 推荐使用阿里云对象存储OSS(Object Storage Service)进行数据传输。重要 使用OSS数据前需要在网页端一键授权OSS访问权限，并为...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
操作审计
服务名称：选择 人工智能平台PAI。事件源：配置为 pai-dlc.[region].aliyuncs.com ，其中[region]需要替换为实际的地域，例如华北6（乌兰察布）配置为 pai-dlc.cn-wulanchabu.aliyuncs.com 。单击 运行。在 原始日志 页签中，会显示按时间...
治理项管理流程
治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...
治理项管理流程
治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...
- 产品推荐
- 这些文档可能帮助您