使用限制
研发工作台 数据处理 不支持项目所属的计算引擎源在跨集群的情况下读取数据。非Dataphin创建的表，Dataphin中元数据可能无法获取或者更新相关信息。研发工作台 即席查询 逻辑表查询时，必须使用业务板块的英文名作为前缀。跨项目物理表使用...
安全算法
引用函数：在研发模块进行数据处理脚本编写或即席查询时，即可在SQL语句中引用安全函数；配置脱敏规则时，也可以选择所需的安全函数。测试安全算法 在 安全算法 页面，单击测试 图标，进行算法的测试。在 测试安全算法 对话框，输入需测试...
安全算法
引用函数：在研发模块进行数据处理脚本编写或即席查询时，即可在SQL语句中引用安全函数；配置脱敏规则时，也可以选择所需的安全函数。测试安全算法 在 安全算法 页面，单击测试 图标，进行算法的测试。在 测试安全算法 对话框，输入需测试...
JudgeNodeMetaDesc
名称 类型 描述 示例值 object 随录参数配置 Field string 系统字段 remark1 FieldType integer 字段数据来源类型：1：系统预定义字段 2：传参质检字段 1 DataType integer 数据类型 1 Symbol integer 逻辑表达式 1 Value string 预设值的...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
查看并处理任务
处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务进行审批。参数 描述 审批结果 选择待处理任务的 审批结果。审批结果 包括：通过：任务申请成功，审批发起者将获取所申请的权限。驳回：任务申请失败，...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
告警事件
告警事件集中为您展示离线计算、实时计算、基线监控、数据质量、数据服务功能模块的告警事件信息。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin页面，单击页面右上角的告警 图标，进入 告警中心 页面。在 告警事件 页面，...
数据标准概述
统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理和分析效率，提供业务指标的 事前提示、事中预警、事后提醒，实现数据驱动管理，让决策者快速获取决策信息。前提条件 已购买 数据标准 增值服务并且当前租户已开通 数据...
Dataphin智能数据建设与治理试用服务协议
协议版本生效日期：2022年11月22日 本协议是 Dataphin智能数据建设与治理（简称“Dataphin”）与您就 Dataphin 提供的免费试用服务的相关事项所订立的有效合约。1.免费试用内容说明 1.1 免费试用次数：每个 UID 仅可开通 1 次免费试用。1.2...
购买指引-全托管
数据处理单元及调度资源 版本 数据处理单元规格 调度资源 智能研发版（离线&实时）、基础研发版（离线&实时）200 4CU（16个CPU Core+64GB）500 4CU（16个CPU Core+64GB）1000 8CU（32个CPU Core+128GB）1500 8CU（32个CPU Core+128GB）2000...
创建HDFS数据源
DataNode用于存储数据，及处理数据块的读写。如果您使用的是HDFS，在引入HDFS的业务数据至Dataphin中或将Dataphin数据导出至HDFS的场景中，您需要先完成HDFS数据源的创建。更多HDFS信息，请参见 HDFS官方介绍。使用限制 Dataphin仅支持超级...
查看系统消息
本文为您介绍如何查看并处理消息中心的消息。查看消息中心的消息 在Dataphin界面，按照下图操作指引，进入 消息中心。在 消息中心 页面，您可以查看所有未读消息及全部的消息。同时您可以单击某个消息 操作 列下的 图标查看消息的详细内容...
产品优势
基于对象存储OSS中的文档、图片、...丰富数据处理 结合业界先进的识别、处理能力，为应用处理提供丰富的功能支持。简化运维 提供Serverless化服务，无需关心业务运维。场景化一站式解决方案 面向场景的构建快捷的元数据管理，快速实现应用。
数据对接期
如您的应用埋点逻辑暂时不支持获取到曝光数据或无法回传traceinfo数据，我们也提供了可由AIRec自行处理，不需要您来上传数据的功能，曝光数据与trace_info数据可分别进行设置：对曝光行为数据特殊处理：曝光行为数据是指：“推荐的商品在...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
什么是文档智能
为什么选择文档智能 企业数据大多数都以文本、图片、扫描件、电子表格、在线文档、邮件等文档的形式存在，难以流通和处理，大量有价值的信息都被锁定在非结构化的文档中，无法充分发挥出数据价值。文档智能深度融合文字识别、自然语言处理...
查看资源使用情况-全托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
智能数据建设与治理 Dataphin
Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据构建及管理服务。
计费概述
计费组成 智能媒体管理费用由 请求费用、数据处理费用 和 索引存储费用 三部分组成。请求费用 请求费用按照调用API的请求次数计费。说明 请求计费的API列表参见 计费项 中计费项 StandardQueryL0、StandardQueryL1 和 StandardQueryL2 所...
文档更新动态（2022年）
新增说明 Dataphin免费试用申请、Dataphin智能数据建设与治理试用服务协议 2022年10月 更新时间 特性 描述 类别 产品文档 2022年10月25日 资源用量详情抽屉优化 新增支持查看当前可用数据处理单元规格上线。新增数据标准、智能运维的用量...
租户设置
说明 如果您的租户不支持恢复，可能的原因有以下几种情况：已使用的数据处理单元数大于剩余的可分配的数据处理单元。已使用的质量规则数大于剩余的可分配的质量规则数。租户功能存在降配的情况。租户已配置的调度资源（CPU或内存）超过系统...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
产品功能相关
文档智能是文字识别技术的进一步升级，除了文字识别，文档智能还综合运用自然语言处理、图像处理、电子文档解析、文档预训练模型等多种技术，实现对PDF/Word/Excel/图片等各类非结构化和半结构化文档的智能自动化处理。相较于文字识别只能...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
开通Dataphin
数据处理单元 系统默认开通 200，如果您希望开通更高规格数据处理单元，可选择：500、1000、1500、2000、2500、3000、3500、4000、4500、5000。实时研发（免费）系统默认赠送 标准版 配置。资产质量 系统默认赠送 500规则（免费），如果您...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
PAI语法
PAI组件包括数据预处理、特征工程、统计分析、异常检测、推荐算法、时间序列、视觉类算法、语音类算法等。不同的PAI组件，其调用参数一般不同，通常情况下，PAI命令调用语法格式如下所示。PAI-name COMPONENT[-project algo_public][-...
数据开发概述
数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发...
数据风险点监控
通过配置DQC的数据质量校验规则，可以实现在数据处理过程中进行自动的数据质量监控。DQC可以监控数据质量并报警，但它不对数据产出进行处理，需要报警接收人判断如何处理。DQC数据监控规则有强规则和弱规则：强规则：一旦触发报警就会阻断...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
媒体处理
阿里云媒体处理（ApsaraVideo Media Processing，原MTS）是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法，将多媒体数据转码成适合在全平台播放的格式。并基于海量数据深度学习，对媒体的内容、文字、语音、场景多模态分析...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
新功能发布记录
时间 特性 类别 描述 2023-12-26 智能开放搜索 OpenSearch-LLM智能问答版表格问答功能发布，支持对接MaxCompute 新增 OpenSearch智能问答版支持表格数据，提供针对表格数据的智能问答能力，支持MaxCompute数据源快速导入。2023-11-27 智能...
智能接入网关硬件版FAQ
智能接入网关SAG-1000设备双机静态HA场景下，主设备断开后，备设备无法建立隧道，怎么处理？智能接入网关设备双机直挂场景下，主设备关机流量未切换至备设备，怎么处理？智能接入网关采用4G卡部署方式，蜂窝口显示Internet不可用，怎么处理...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
- 产品推荐
- 这些文档可能帮助您