LLM数据处理
本文以开源项目RedPajama在GitHub中的少量数据为例，为您介绍如何使用PAI提供的LLM大语言模型数据处理组件，对GitHub代码数据进行数据清洗和处理。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
代码智能推荐
在智能推荐的 数据处理脚本 中进行二次编辑，确认无误后单击 应用。说明 可以通过 数据响应结果 区域，查看经过处理后的数据详情。可选，若不需要使用当前处理方法，单击 撤销应用 即可。单击画布任一处退出智能推荐窗口，在 数据源 配置页...
数据开发概述
数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
资源包介绍
智能媒体管理IMM默认按量付费，但您也可以预先购买阿里云提供的媒体数据处理资源包。媒体数据处理资源包可用于抵扣智能媒体管理IMM各计费项及对象存储OSS视频截帧及图片处理相关计费项。资源包到期或额度全部抵扣完后，如果仍有超出部分，...
新旧版本使用指引
新增功能 更强大的数据处理能力 数据处理现已支持音视频处理、文档处理、图片智能、音视频智能、文件处理、内容安全等。更灵活的数据管理、数据查询能力 媒体集（Set）升级为数据集（Dataset），支持全类型文件的元数据抽取以及元数据查询...
产品优势
基于对象存储OSS中的文档、图片、...丰富数据处理 结合业界先进的识别、处理能力，为应用处理提供丰富的功能支持。简化运维 提供Serverless化服务，无需关心业务运维。场景化一站式解决方案 面向场景的构建快捷的元数据管理，快速实现应用。
什么是文档智能
本文介绍阿里云文档智能（Document Mind）的产品概述、业务价值、产品架构及核心能力，并将通义智文作为文档智能与大模型结合的新品进行发布。通义智文新品发布 通义智文 https://tongyi.aliyun.com/zhiwen ，是一款基于通义大模型的AI阅读...
SQL增强操作
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
首页
DataWorks智能数据建模首页，为您展示了当前租户内创建的模型及派生指标数量，以及近三十天内当前工作空间成功发布至生产环境的模型列表，帮助您了解模型动态概况。本文为您介绍DataWorks智能数据建模首页信息概览。进入首页 进入数据开发...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
发布中心概述
功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象...
发布中心概述
功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象...
DataX同步数据
在 数据处理 页签，单击 datax.json 资源的 操作 列下的 图标。在 发布 对话框，填写发布名称或备注信息后，单击 确定，即可将资源文件发布至生产环境。单击左侧导航栏的 发布记录列表。在 发布记录列表 页面，查看资源文件的发布状态为 ...
DataX同步数据
在 数据处理 页签，单击 datax.json 资源的 操作 列下的 图标。在 发布 对话框，填写发布名称或备注信息后，单击 确定，即可将资源文件发布至生产环境。单击左侧导航栏的 发布记录列表。在 发布记录列表 页面，查看资源文件的发布状态为 ...
快速入门
如果您是首次使用智能数据建设与治理Dataphin，您可以参考快速入门文档，了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门
元数据仓库共享模型概述
一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 您可根据当前使用的Dataphin的元仓租户计算引擎类型查看对应的共享模型数据：元数据仓库共享...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 TDengine 不...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
功能更新动态（2022年之前）
华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...
Dataphin免费试用申请
试用功能范围 版本：智能研发版-200数据处理单元 增值功能包：实时研发-标准版，资产质量-500规则，智能运维-3条基线+1条限流，数据标准-标准版，资产安全-标准版，资源治理-标准版，标签平台-试用版。若您希望体验API功能，可勾选数据服务...
功能特性
点云压缩介绍 点云压缩API 智能数据处理 智能数据处理集成了语义检索、人脸聚类与搜索、时空聚类、图片聚类及故事生成等先进技术，实现内容的深度理解和智能组织，为用户提供多维度的数据洞察和内容创造工具。功能集 功能 功能描述 参考...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
计费说明-全托管
智能研发版定价 数据处理单元规格 调度资源 定价（CNY/月）200 16C64G 25,000 500 16C64G 33,500 1000 32C128G 42,000 1500 32C128G 50,500 2000 40C160G 59,000 2500 40C160G 67,500 3000 40C160G 76,000 3500 40C160G 84,500 4000 60C240...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
规范建模概述
如果Basic项目绑定 Dev-Prod模式 数据板块，则不支持执行规范建模，仅可以使用数据处理和即席查询功能。功能概述 您可以根据实际需求，创建对应的维度逻辑表、事实逻辑表、原子指标、业务限定、指标、汇总逻辑表。各项建模功能描述如下：...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
- 产品推荐
- 这些文档可能帮助您