产品优势
基于对象存储OSS中的文档、图片、视频等多媒体数据，智能媒体管理典型的应用场景有图片、视频、网盘等。场景痛点分析 图片应用 对于图片应用，首先上传图片、视频到对象存储中，随着业务的不断发展和法规政策的监管需求，会增加鉴黄检测、...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
创建数据源
目前智能推荐的全量数据源只支持ODPS，您需要先将全量启动数据上传至对应的DataWorks（MaxCompute：原ODPS）项目中。如果已经有ODPS的项目，可以忽略此步骤。DataWorks（数据工场）是基于MaxCompute（原ODPS）作为核心的PaaS平台产品，详情...
新建及管理识别特征
识别特征基于字段的数据内容、元数据属性，结合正则表达式、包含、不包含等运算条件对数据特征进行表达，从而智能推荐相关的数据分类分级或数据标准。Dataphin内置了多种识别特征表达式，如手机号、身份证号等。此外，您也可以自定义识别...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
新功能发布记录
时间 特性 类别 描述 2023-12-26 智能开放搜索 OpenSearch-LLM智能问答版表格问答功能发布，支持对接MaxCompute 新增 OpenSearch智能问答版支持表格数据，提供针对表格数据的智能问答能力，支持MaxCompute数据源快速导入。2023-11-27 智能...
数据源
如果您选择将离线数据储存在自有的MaxCompute项目中，代表将AIRec算法训练所需的离线数据存储在您的MaxCompute账户中，需要您保证这部分离线数据的稳定性、并具备运维这些数据的能力。注意：对于产出的所有离线数据不要进行高危操作（增加...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
数据库文件存储
数据库文件存储（DBFS），是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计，通过文件协议提供数据库定制功能，具备企业级存储特性。主要服务于云上自建数据库，基于传统SAN的应用等，为用户提供极致IO性能和高可用...
数据膨胀诊断
注意事项 智能诊断数据膨胀功能仅支持存储弹性模式实例，且内核版本须满足以下条件：AnalyticDB PostgreSQL 6.0版 实例为v6.3.10.0及以上。AnalyticDB PostgreSQL 7.0版 实例为v7.0.4.0及以上。如何查看和升级内核版本，请参见 查看内核小...
挂载问题
1.挂载数据库文件存储（DBFS）的约束？数据库文件存储（DBFS）默认会在“/mnt/dbfs”目录下创建挂载点（例如，“/mnt/dbfs/xxxxxx”）。数据库文件存储（DBFS）要求挂载点为空，即“/mnt/dbfs/xxxxxx”目录为空，不能在挂载点下存在文件...
全量数据管理概述
MaxCompute：大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，详情参见 MaxCompute 表：表是MaxCompute的数据存储单元，它在逻辑上也是由行和列组成的二维结构，每行代表一条记录，每列表示相同...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。说明 各存储类型的定价，请参见 OSS产品定价。各存储类型的计费方式，请参见 存储费用。标准存储（Standard）提供高可靠、高...
数据安全
数据存储安全 PAI提供数据集管理模块，支持导入公共数据集、阿里云云产品中的数据等创建为数据集，也支持扫描OSS文件夹生成索引数据集，为智能标注、模型训练做准备。读取和存储数据至OSS及NAS，实现数据集、模型等数据文件的存储安全。...
新功能发布记录
2022-02-11 华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）数据库文件存储DBFS产品详情页 表 2.2020年06月 功能名称 功能概述 发布时间 支持地域 相关文档 数据库文件存储标准版公测发布 数据库文件存储（DBFS）是一款针对...
申请与创建
本文主要说明如何创建阿里云数据库文件存储服务DBFS。申请创建DBFS的步骤：进入“阿里云控制台”->“登录数据库文件系统控制台”。如果未开通服务，需要先点击“立即开通”开通数据库文件存储服务后，才能进入购买页面。单击“创建数据库...
集成概览
本文为您介绍数据库文件存储DBFS支持的集成方案。OpenAPI集成 数据库文件存储DBFS提供实例、快照、标签等功能的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 版本说明 说明 2020-04-18 ...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
删除文件系统
本文主要说明阿里云数据库文件存储服务删除功能。进入“数据库文件存储控制台”->“数据库文件系统列表”。单击“更多”按钮，单击“删除”，弹出“删除数据库文件系统”窗口。单击“我已知晓风险，确认删除”按钮后，提交删除申请。
图扑案例
业务要求与挑战 5G、云计算、边缘计算等智能、互联技术的快速发展，推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增，与之对应的采集数据量和数据类型快速增长，导致数据存储、检索难度更大。现有解决方案中，通常依赖自建单...
概览页
质检数据最长存储90天，超过90天的数据会自动清除，无法找回，建议您定期导出数据进行本地存储。基础数据 基础数据中汇总了指定时间区间内，所有质检文件数量统计数据，包括数据集质检和呼叫中心质检，各数据含义如下：名称 解释 文件总数 ...
什么是智能视觉
核心能力 智能视觉支持对以下类型的输入数据源进行AI分析：存储在阿里云OSS中的图片文件 存储在阿里云OSS等多种存储服务中的视频文件 通过VS（视频监控）产品接入的实时视频流 对于以上数据源，智能视觉支持使用多种场景算法来进行AI分析，...
通过历史数据启动实例
V 配置离线存储 开通离线存储，代表将智能推荐服务训练所需的离线数据存储部署在您的企业账户的MaxCompute中，需要您保证这部分离线数据的稳定性、并具备运维这些数据的能力。实例启动成功后，可以在控制台-离线存储功能 处，查看离线存储...
产品优势
本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用，提供企业级...
东软案例
东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
管理元数据
您也可以单击 图标，通过选择 数据对象、存储类型、引用状态、负责人 快速筛选元数据。参数 描述 元数据名称 元数据的名称。存储类型 元数据的 存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，...
查看数据源校验记录
数据源类型 数据源的存储类型。用途 数据源用于处理任务的类型。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 数据源校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量...
查看数据源校验记录
数据源类型 数据源的存储类型。用途 数据源用于处理任务的类型。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 数据源校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量...
管理元数据
您也可以单击 图标，通过选择 数据对象、存储类型、引用状态、负责人 快速筛选元数据。参数 描述 元数据名称 元数据的名称。存储类型 元数据的 存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，...
数仓规划概述
模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间内所用到的数据基于 数据源，项目可以归属于数据板块。数仓规划入口 在Dataphin首页，单击顶部菜单栏的 规划。在数仓规划页面，左侧导航栏为您展示各功能模块的入口按钮...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
数仓规划概述
模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间内所用到的数据基于 数据源，项目可以归属于数据板块。网络连通 为了实现数据源与Dataphin之间的网络互通，您需要将访问数据库的链接地址添加至Dataphin实例的沙箱白...
基础概念
例如开发者开发网盘APP时，在与存储数据的OSS Bucket相同的地域创建项目，并对项目授予访问OSS Bucket的权限，可以便捷的使用智能媒体管理的文档预览、图片AI功能等。智能媒体管理包括如下项目类型：文档标准型：支持格式转换、文档预览...
导出标注结果数据
对于导出成功的任务可直接单击 跳转，进入存储标注结果数据文件的OSS Bucket页面，查看导出文件，导出文件是一个后缀为.manifest 格式的文件，文件内容格式请参见 标注数据格式概述。如果您同时将导出结果创建为一个数据集，您可以进入数据...
- 产品推荐
- 这些文档可能帮助您