媒体处理
阿里云媒体处理（ApsaraVideo Media Processing，原MTS）是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法，将多媒体数据转码成适合在全平台播放的格式。并基于海量数据深度学习，对媒体的内容、文字、语音、场景多模态分析...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
新功能发布记录
时间 特性 类别 描述 2023-12-26 智能开放搜索 OpenSearch-LLM智能问答版表格问答功能发布，支持对接MaxCompute 新增 OpenSearch智能问答版支持表格数据，提供针对表格数据的智能问答能力，支持MaxCompute数据源快速导入。2023-11-27 智能...
智能接入网关硬件版FAQ
智能接入网关SAG-1000设备双机静态HA场景下，主设备断开后，备设备无法建立隧道，怎么处理？智能接入网关设备双机直挂场景下，主设备关机流量未切换至备设备，怎么处理？智能接入网关采用4G卡部署方式，蜂窝口显示Internet不可用，怎么处理...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
新建及管理动态脱敏规则
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何新建及管理动态脱敏规则。背景信息 动态脱敏规则常用于查询某些敏感的生产数据场景。对满足条件的...
新建及管理动态脱敏规则
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何新建及管理动态脱敏规则。背景信息 动态脱敏规则常用于查询某些敏感的生产数据场景。对满足条件的...
创建Kafka数据源
背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在对接Dataphin进行数据开发或将Dataphin的数据导出至Kafka，您需要先完成Kafka数据源的创建。Kafka不同版本的功能...
创建Kafka数据源
背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在对接Dataphin进行数据开发或将Dataphin的数据导出至Kafka，您需要先完成Kafka数据源的创建。Kafka不同版本的功能...
合规&认证
Dataphin智能数据建设与治理作为瓴羊开发云领域的核心产品，⾼度重视产品的合规性并积极对标国内和国际最⾼标准合规性要求。当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在...
文档更新动态（2022年之前）
通用功能 概述 2020-04-09 数据处理 功能拓展 新增实时数据处理，帮助您处理实时计算任务。通用功能 实时数据处理 2020-04-09 实时元表 新增功能 为您介绍如何查看实时元表的详情。通用功能 元表详情 2020-04-09 函数权限 新增功能 为您...
通过全服务端SDK快速启动实例
如您还没有曝光数据的终端埋点，可以按上图方式选择“否，需特殊处理”，即可切换为推荐系统特殊处理模式，即智能推荐会通过服务端下发请求的方式构建曝光数据。注意：用户系统曝光数据时效原因，将仅支持7天以内的曝光过滤配置，若超出7天...
什么是Dataphin
编码研发 资源及函数管理 支持管理各种资源包（例如JAR、文本文件），以满足部分数据处理需求。支持查找与使用内置的系统函数。支持用户自定义函数，以满足数据研发的特殊加工需求。创建资源 新建用户自定义函数 数据萃取 基于Dataphin数据...
基础概念
通过本文您可以了解智能媒体...任务 单个数据处理异步请求的执行实体，调用异步请求API返回的ID，即任务ID。例如执行单个文档的异步转换，它的执行实体就是一个任务。任务创建后，支持Get查询任务状态，Delete删除任务，List遍历任务请求。
网络方案概述
适用于对网络安全有较高要求的场景，比如企业内部应用、敏感数据处理等。通过VPC网络连接，可以在公共云环境中搭建出类似于本地数据中心的私有网络环境，实现数据隔离和安全防护。具体说明，请参见 VPN网关ECS反向代理方案。
规范建模概述
如果Basic项目绑定 Dev-Prod模式 数据板块，则不支持执行规范建模，仅可以使用数据处理和即席查询功能。功能概述 您可以根据实际需求，创建对应的维度逻辑表、事实逻辑表、原子指标、业务限定、指标、汇总逻辑表。各项建模功能描述如下：...
智能接入网关App FAQ
智能接入网关App中有一条限制，当您本月在智能接入网关控制台进行删除账号操作后，会先将底层数据删除，然后保留一条数据作为计费使用，页面当前显示的数据就是保留的统计计费所用的数据，这条数据会在下个月自动删除。阿里云网络客户端...
管理控制台介绍
您可以通过升级操作，购买更高规格的数据处理单元及开通未购买的增值功能包，详情请参见 升级。您可以通过续费管理对已过期或即将过期的实例进行续费操作，详情请参见 续费。③ 为您提供快速进入Dataphin实例的多个功能模块。功能模块包括...
管理控制台介绍
您可以通过升级操作，购买更高规格的数据处理单元及开通未购买的增值功能包，详情请参见 升级。您可以通过续费管理对已过期或即将过期的实例进行续费操作，详情请参见 续费。③ 为您提供快速进入Dataphin实例的多个功能模块。功能模块包括...
智能问答
仪表板的智能问答功能支持通过简单的自然语言，从指定的数据集中快速生成分析图表，并保存到仪表板中。本文为您介绍智能问答的使用方法。重要 仪表板内的智能问答_公测期结束，后续不再支持使用及订购；自24年4月1日起，新客户不再支持该...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
查看数据源校验记录
用途 数据源用于处理任务的类型。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 数据源校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量规则校验任务。说明 终止后执行...
查看数据源校验记录
用途 数据源用于处理任务的类型。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 数据源校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量规则校验任务。说明 终止后执行...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
导出标注结果数据
处理完成标注任务后，您可以将标注结果导出至指定的OSS目录，也可以将标注结果同步创建为一个数据集，便于后续将其直接用于模型训练。本文介绍如何导出标注结果，以及如何查看导出的进度与结果。前提条件 已处理完成数据标注，详情请参见 ...
整体架构
为满足不同场景需求，首先将一份全量数据存储在低成本高吞吐存储介质中，低成本离线处理场景直接读写低成本存储介质中的数据，可降低数据存储和数据IO成本，保证高吞吐。其次将实时数据存储在单独的存储IO节点（EIU）上，保证行级的数据...
治理效果
其中 治理项详情 由 处理率 和 已处理治理项 组成，资源节约量 由 计算 和 存储 组成，详细解释如下：处理率：最近7天的治理项中，已处理的治理项的数量占治理项总数的百分比为处理率。已处理治理项：最近7天内已处理的治理项数。计算：...
治理效果
其中 治理项详情 由 处理率 和 已处理治理项 组成，资源节约量 由 计算 和 存储 组成，详细解释如下：处理率：最近7天的治理项中，已处理的治理项的数量占治理项总数的百分比为处理率。已处理治理项：最近7天内已处理的治理项数。计算：...
智能擦除
点播媒体处理智能擦除服务包含图标擦除和字幕擦除功能。通过阅读本文，您可以了解各擦除功能的详情及使用方法。智能擦除类型说明 智能擦除是指对视频中的字幕和图标等进行擦除并填充。点播媒体处理智能擦除功能当前支持以下两种擦除类型：...
智能问数操作说明
Quick BI支持 智能问数 功能，让用户通过自然语言的交互，直接获取数据结果，实现数据即问即答，人人都可上手分析数据，牵引数据消费新方式。您可以在 PC端 或 移动端 的智能问数对话界面 预览和选择数据集、在提问框内直接输入问题提问或...
资产质量概述
数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及...
资产质量概述
数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性...
智能审核
点播媒体处理智能审核服务支持媒资 鉴黄、暴恐涉政、图文违规、Logo识别、不良场景和语音违规审核功能。通过阅读本文，您可以了解各审核类型的详情及使用方法。智能审核 类型说明 智能审核 是指对 视频、音频和图片媒体文件内容进行多维度...
计算设置概述
Fusioninsight Flink Fusioninsight Flink 是一种基于Apache Flink的流式处理引擎，可以实现高速数据流的实时计算和分析。Blink独享版 Blink是阿里云实时计算引擎。重要 该版本在公共云已停售，请谨慎选择。计算设置入口 在Dataphin首页，...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
查看并管理手动运行补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，对补数据任务进行批量处理，提高操作效率。具体操作，请参见。手动运行补数据任务支持的批量操作。手动运行补数据任务列表支持的操作 操作 描述 手动运行 立即运行当前补数据任务...
- 产品推荐
- 这些文档可能帮助您