分析平台设置
说明 分析平台支持MaxCompute、Hadoop、星环TDH 6.x、AnalyticDB for PostgreSQL、ArgoDB类型的离线计算源。权限说明 仅支持 超级管理员 或 系统管理员 进行设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，...
新建用户自定义函数
离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数，包括计算引擎源常用且系统默认支持的函数和用户自定义函数，前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。前提条件 完成资源的创建，详情请参见 上传资源及...
客户案例
目前基于Hadoop+HDFS开源架构进行离线（HDFS+Spark）、实时计算（Flink+中间件），该架构在运行中存在性能瓶颈及弹性能力弱等问题，无法很好的满足当前业务需要。客户需求 改善自建架构如下问题：资源成本高、弹性能力弱，资源无法按量使用...
新建SPARK_JAR_ON_MAX_COMPUTE任务
参数 描述 任务名称 填写离线计算任务的名称。最长允许256个字符，不支持特殊字符：|\/:?调度类型 选择任务的调度类型。调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所...
新建SPARK_JAR_ON_MAX_COMPUTE任务
参数 描述 任务名称 填写离线计算任务的名称。最长允许256个字符，不支持特殊字符：|\/:?调度类型 选择任务的调度类型。调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所...
分析平台概述
说明 分析平台支持MaxCompute、Hadoop、星环TDH 6.x、AnalyticDB for PostgreSQL、ArgoDB、StarRocks类型的离线计算源。完成分析平台计算源创建后，您还需要将创建的计算源绑定到分析平台。具体操作，请参见 分析平台设置。Notebook：基于...
查看样本信息
离线样本中展示的是数据表信息，数据表分为可用和不可用两种状态，可用状态的数据表才能用于模型开发。您可以根据本文，查看离线样本中数据表的详细信息以及数据表是否可用。操作步骤 登录多方安全建模控制台，并选择需要进入的项目。说明 ...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
新建HIVE_SQL任务
本文为您介绍如何基于Dataphin构建HIVE_SQL类型的离线计算任务。背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。...
文件存储HDFS版
将Hadoop或其他机器学习应用部署在多个计算资源上，应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算，也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
创建Hive数据源
在E-MapReduce5.x Hadoop计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置说明，请参见 使用基于OSS创建的Hive外部表进行离线集成。使用Hive数据源作为集成的输入输出组件时，请...
自建Hive数据仓库迁移到阿里云E-MapReduce
经济性 您可以按需创建集群，即离线作业运行结束就可以释放集群，还可以在需要时动态地增加节点。深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎...
新建SPARK_JAR_ON_HIVE任务
参数 描述 任务名称 填写离线计算任务的名称。最长允许256个字符，不支持特殊字符|\/:?调度类型 选择任务的调度类型。调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放...
DataWorks V3.0
详情请参见 离线计算MaxCompute。E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来...
新建ArgoDB计算源
Dataphin支持使用ArgoDB作为Dataphin的离线计算引擎，为Dataphin项目提供处理离线计算任务的能力。本文为您介绍如何创建ArgoDB计算源。背景信息 ArgoDB是星环自主研发的分布式分析型数据库，可替代Hadoop+MPP的混合架构。能够使用标准的SQL...
基本概念
离线样本 离线样本是蚂蚁隐私计算服务平台各项目中的原始数据，离线样本被存储在节点上且只支持在节点本地使用。如果需要在项目中使用样本数据，需由节点所属机构的管理员，在管理控制台中将数据授权到项目内。您可以使用离线样本，但无法...
Python内置资源包
在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
Python内置资源包
在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
应用场景
的发布/订阅模型，您可以实时收集网站活动数据（例如注册、登录、充值、支付、购买），根据业务数据类型将消息发布到不同的Topic，然后利用订阅消息的实时投递，将消息流用于实时处理、实时监控或者加载到Hadoop、MaxCompute等离线数据仓库...
管理节点组（Hadoop、Data science和EMR Studio集群）
例如，内存型实例节点（vCore:vMem=1 vCPU:8 GiB）用于大数据离线处理，计算型实例（vCore:vMem=1 vCPU:2 GiB）用于模型训练。前提条件 已在EMR控制台创建Hadoop、Data science或EMR studio集群，详情请参见 创建集群。使用限制 支持新增...
管理元数据
存储类型 元数据的 存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，因此存储类型包括Hive和MaxCompute。单租户模式下只能选择和计算引擎一致的类型；单实例多租户模式下只能选择和元数据仓库一致...
新建离线物理表
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
离线实时一体化数仓
以下为您系列讲解阿里云离线实时一体化数仓的...主要产品：MaxCompute 课程时长：13分钟 相关文档：渐进式计算 物化视图操作 课程内容：离线实时一体化典型架构和应用案例。主要产品：MaxCompute、Hologres、Flink、DataHub 课程时长：13分钟
应用场景
实时数仓 该场景需要在一个平台上提供统一的在线查询和离线计算的能力，简化数据架构，降低开发和运维成本。通过弹性伸缩支持更合理的资源配比，减少非高峰期的保有资源，优化成本，提高性价比。该场景可实现：在离线一体化 支持数据实时增...
选型配置说明
集群类型 场景介绍 核心组件 DataLake 云原生数据湖场景，提供Hive和Spark计算引擎，适用于数据湖场景和离线数据分析等情况，支持多种数据湖格式如DeltaLake、Hudi和Iceberg。HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、...
新建Flink计算源
Flink计算源用于承载Dataphin项目下基于Flink的计算资源，只有绑定了Flink计算源的项目，才支持基于Flink引擎研发计算任务。本文将为您介绍如何新建Flink计算源。操作步骤 在Dataphin首页，单击顶部菜单栏的 规划。进入数仓 规划 页面。...
最佳实践概览
PolarDB-X（DRDS）同步方案选取指南 通过Logstash将PolarDB-X（DRDS）数据同步至Elasticsearch 通过DataWorks将PolarDB-X（DRDS）数据离线同步至Elasticsearch 通过DTS将PolarDB MySQL数据同步至Elasticsearch 通过Monstache实时同步...
限流配置
离线数据处理：对应离线计算任务、DATA_X同步任务、FLINK_SQL_BATCH任务。建模研发：仅智能研发版支持，对应所有逻辑表任务。萃取研发：仅购买萃取支持，对应所有萃取任务。并发运行数 设置并发运行数，需要结合实际限流场景进行配置。说明...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
创建通用项目
当离线计算引擎为MaxCompute时，支持使用Hologres作为查询加速引擎和配置机器学习PAI。说明 1个Hologres引擎仅支持1个场景（服务或离线引擎）/项目。Dataphin对接了 机器学习PAI，为您提供了机器学习PAI基础的算法调度能力。在机器学习平台...
设备数据存储和计算实践
同时支持搭配计算组件（实时数据处理、交互式分析和离线计算），供您快捷地处理物联网平台设备数据。分层存储 例如：物联网平台某家摩托⻋⼚商的客户每天产⽣约20 GB数据，按3年时间会产⽣21 TB数据。按照存储产品年费用预计在18万~28万...
功能特性
Spark 向量计算 Proxima CE Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎，用于支持批量离线向量检索任务，包括基础的向量检索、多类目检索及百万TopK检索等功能。向量计算 Proxima CE 存储 表是MaxCompute的数据存储...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
2022年
计算资源使用 2022年7月更新记录 时间 特性 类别 描述 产品文档 2022-07-28 离线实时一体化数仓。新说明 系统讲解阿里云离线实时一体化数仓的能力，帮助您设计构建离线实时一体化数仓。离线实时一体化数仓 2022-07-14 字符串函数。更新说明...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
概述
跨引擎 由表达式、函数组成的算子具备跨引擎能力，可以适配到离线、在线、实时引擎上运行。详细信息可以访问各个算子的 适用场景 章节。计算资源 计算资源是指带有存储、计算能力的数据处理引擎，通常指 MaxCompute 等。数据探索将业务模型...
公共节点
公共节点是可被多个数据开发场景复用的计算节点。公共节点本文为您介绍如何使用公共节点。前提条件 您已创建用于进行节点运行、部署、上线的云计算资源，具体操作，请参见 新建云计算资源。背景信息 计算节点是用于定义不同数据类型处理...
- 产品推荐
- 这些文档可能帮助您