Dataphin离线计算任务中使用参数化视图时报语法错误
问题描述 Dataphin离线计算任务中使用参数化视图时报语法错误。解决方案 Dataphin中计算任务可以支持参数化视图，但是目前还不能完全支持ODPS中参数化视图的所有语法。比如“begin.end”的语法不支持，table参数类型不支持。参数化视图示例...
标记离线计算实例
对执行失败或异常的离线计算实例标记后，实例的状态会标记为成功，方便对实例进行筛选。本文主要介绍如何标记离线计算实例。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
标记离线计算实例
对执行失败或异常的离线计算实例标记后，实例的状态会标记为成功，方便对实例进行筛选。本文主要介绍如何标记离线计算实例。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
新建离线计算模板
使用限制 仅支持 超级管理员、项目管理员、项目开发者 的用户创建、配置并提交离线计算模板。如何获取项目管理员和开发者角色，请参见 操作步骤。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引...
新建离线计算模板
使用限制 仅支持 超级管理员、项目管理员、项目开发者 的用户创建、配置并提交离线计算模板。如何获取项目管理员和开发者角色，请参见 添加项目成员。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录 数据资源平台控制台。在页面左上...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录企业数据智能平台。在页面左上角...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
通过函数计算转存离线日志
通过阿里云的函数计算转存离线日志功能，当CDN产生新的离线日志时，它会触发预设的函数计算逻辑，自动地、无服务器地将这些日志文件传输到对象存储服务（OSS）。这样，无需人工干预或额外运维成本，就能实现日志数据的安全、高效、稳定的...
离线UV计算
本文为您介绍在Hologres中如何进行离线UV计算。背景信息 离线UV计算方案流程如下图所示。创建一张用户明细表，用于存放业务所有维度的明细数据。创建一张历史用户映射表，存放历史每个访问过的用户ID（uid）和对应的int32数值，其中int32...
概述
数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至MaxCompute。详情请参见 通过LogHub迁移日志数据至MaxCompute...
概述
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
任务中心
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
概述
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
产品限制
版本v20150630：BatchCompute 使用共享资源池支持大规模离线计算，计算任务可能需要排队等待。计算节点暂不支持公网访问。
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。租户开启 实时研发 模块后，系统将根据 离线计算引擎 选择进行...
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 ...
新建SPARK_SQL任务
本文为您介绍如何基于Dataphin构建Spark SQL任务类型的离线计算任务。前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认...
计算源概述
功能概述 您可根据业务需求添加相应计算源，各计算源描述及创建说明如下：计算设置 计算源 MaxCompute 计算设置为MaxCompute的租户支持创建以下计算源：离线计算源 MaxCompute计算源：绑定MaxCompute计算源的项目，支持规范建模、即席查询...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
CDM接口数据层设计规范
本文为您介绍CDM接口数据层设计规范。接口数据层将不同数据域的汇总数据预关联在一个...如果一个汇总表出现混合多个数据域时，表名称中需要使用hbd（hybrid 缩写）进行标识，这种情况当前只用于准实时情况，离线计算不建议跨数据域存储数据。
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
查看数据安全配置
联合分析的过程中需要使用离线样本，编写脚本文件的逻辑依赖于离线样本的数据安全配置策略。如果开启目标字段的 保护开关，会对目标字段在关联键和分组键的设置进行限制，即目标字段需经过比较函数、聚合函数处理后，才能出现在 SELECT ...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
数据开发
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过托拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
计算任务概述
更多信息，请参见：离线计算任务属性配置，请参见 离线任务属性配置概述。实时计算任务属性配置，请参见：实时模式配置概述。离线模式配置概述。相关：离线计算任务支持查看计算任务的相关对象，即 当前 计算 任务引用读取的表、引用读取...
计算任务概述
更多信息，请参见：离线计算任务属性配置，请参见 离线任务属性配置概述。实时计算任务属性配置，请参见：实时模式配置概述。离线模式配置概述。相关：离线计算任务支持查看计算任务的相关对象，即 当前 计算 任务引用读取的表、引用读取...
概述
使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、PySpark等。读写MaxCompute Table。引用MaxCompute中的文件资源。读写VPC环境下的服务。例如，RDS、Redis、HBase、ECS上部署的服务等。读写OSS...
IDMapping在离线一体化解决方案
首先，配合MaxCompute数仓，基于智能运维系统，将离线计算与在线实时计算结合落地的方案。其次，提供多种业务数据查询能力，可提供向量、倒排、复杂图查询，让业务使用更灵活。最后，基于离线、在线一体化方案，可配合业务自行选择，赋能...
支持的云服务
通过MaxCompute离线计算挖掘，产出高质量数据后，导入分析型数据库，供业务系统调用分析。将MaxCompute数据导入 AnalyticDB for MySQL，有如下两种方式：通过DMS for AnalyticDB for MySQL的 通过外表导入至数仓版 和 导出至MaxCompute ...
ECS资源复用版
客户A在MaxCompute购买了包年包月计算资源 500 CU，用于满足00:00~08:00的离线计算作业需求。客户开通ECS资源复用版后，可将CR共享至MaxCompute，并将共享时间段设置为00:00~09:00。MaxCompute将在00:00购买CR内未被占用的20台ECS实例，并...
- 产品推荐
- 这些文档可能帮助您