质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
新建FusionInsight Flink计算源
FusionInsight Flink计算源用于承载Dataphin项目下基于FusionInsight Flink的计算资源，只有绑定了FusionInsight Flink计算源的项目，才支持基于FusionInsight Flink引擎研发计算任务。本文将为您介绍如何新建FusionInsight Flink计算源。...
确定需求
例如，本例中还可以定义全表为粒度，只是该粒度中无需维度，然后定义业务限定是类目为厨具，其他保持不变，如无特殊数据情况，也可得到相同数据结果，只是计算存储过程消耗可能有不同。上述案例，不同路径，组合定义出来的派生指标，可能是...
内建函数概述
数学函数 MaxCompute SQL提供了如下数学函数供您在开发过程中使用，您可以根据实际需要选择合适的数学函数，进行数据计算、数据转换相关操作。说明 取余数计算等更多计算请参见 算术运算符。函数 功能 ABS 计算绝对值。ACOS 计算反余弦值。...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
设置Dataphin实例的计算引擎AnalyticDB for ...
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为...
设置Dataphin实例的计算引擎为TDH或ArgoDB
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为TDH或...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
新建离线计算模板
Dataphin支持创建离线计算模板。后续在开发任务时，可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。背景信息 当多个任务的代码逻辑相似，只有部分配置项或输入参数不同时，您可以将代码...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
添加项目成员
Dev项目角色 对应Prod项目角色 项目管理员 项目管理员 开发者 运维 分析师 数据访问者 普通访客 普通访客 系统支持修改项目中的项目管理员、开发者、运维、分析师和访客角色成员的角色，及支持从项目空间中移除项目管理员、开发者、运维、...
新建MAX_COMPUTE_MR任务
本文为您介绍如何基于Dataphin构建MapReduce类型的离线计算任务。前提条件 完成JAR资源包的上传，详情请参见 上传资源及引用。背景信息 MapReduce任务中引用到的JAR资源包需提前创建，因此需要您在资源管理中上传JAR资源包，然后在...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
智能数据建模计费标准
仅在DataWorks智能数据建模产品中创建并提交的逻辑模型、派生指标和复合指标，才会参与智能数据建模计费中对象数量的计算；创建但未提交版本的逻辑模型、派生指标和复合指标不参与智能数据建模的计费。贴源层的模型不参与智能数据建模的...
新建补数据计划
在离线计算任务中新建补数据计划 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 离线任务>离线计算任务。在离线计算任务列表中，...
资产注册
操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产注册。说明 若已在 资产注册 页面，请跳过该步骤。将鼠标悬停至 数据表 卡片上，单击 来源配置。说明 鼠标悬停至 数据表 卡片上，单击 管理...
新建云计算资源
支持新建多种类型的数据源，为使用 企业数据智能平台 做数据支撑。本文介绍如何新建云计算资源。前提条件 已创建工作组，具体操作，请参见 新建工作组。背景信息 当前支持的云计算资源类型有RDS MySQL、AnalyticDB MySQL、AnalyticDB MySQL...
管理中心概述
智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。变更管控 变更策略 变更策略是根据您已经创建好的变更规则，设置其生效范围和管控方式。支持在单个变更策略中配置多个...
物化视图
MaxCompute提供物化视图智能计算加速，为您智能分析推荐创建物化视图。本文为您介绍如何通过智能分析创建物化视图。使用限制 只支持在单个项目内做智能分析推荐，不支持跨项目或多项目联合分析推荐。为了更精准地生成物化视图推荐，开启...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
生态对接
商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的形式展示给决策者，帮助高层管理者做出更明智的业务决策。MaxCompute支持的BI工具如下。商业BI工具 工具 版本要求 ...
应用场景
商业智能报表 该场景要求支持海量数据实时入库和计算，毫秒或秒级返回结果，方便自由灵活的快速构建报表。支持丰富的可视化BI工具，开发人员容易上手，降低企业数据化建设门槛。该场景可实现：实时接入实时计算 支持每秒实时写入数万至数百...
基本概念
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于告警对象和告警规则构成的事件。推送记录 告警中心将告警消息推送...来源系统 告警事件的来源模块，包括数据质量、实时计算、数据服务。
计算费用（按量付费）
MaxCompute按照压缩后的数据量计算数据扫描量。查询分区表时，您可以应用分区过滤条件，减少数据扫描量并提升查询性能。华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）和西南1（成都）区域已开通MCQA作业...
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
MaxFrame概述
MaxFrame可直接引用Numpy、SciPy、Pandas、Matplotlib等第三方库进行科学计算、数据分析、可视化等操作，降低用户操作成本。更高的处理性能 MaxFrame可直连MaxCompute数据，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，...
租户设置
ArgoDB计算引擎暂不支持智能研发模块，若该租户使用ArgoDB作为计算引擎，请勿勾选智能研发功能模板。AnalyticDB for PostgreSQL计算引擎不支持数据萃取和资源治理功能。单击 确定，完成租户添加。管理租户 完成租户添加后，您可以在 租户...
基本概念
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于...来源系统 告警事件的来源模块，包括数据质量、实时计算、数据服务。icmsDocProps={'productMethod':'created','language':'zh-CN',};
推送记录
在 推送记录 页面，您可单击 离线计算、实时计算、数据质量 或 数据服务 页签，查看对应模块的推送记录。不同功能模块的页签展示一致，下图以 离线计算 为例。区域 描述 ①筛选与搜索区 您可根据推送记录对象名称的关键字进行搜索，也可...
长周期指标的计算优化方案
您可以通过增量累计方式计算长周期指标的方式，不需要读取N个分区的数据，而是把N个分区的数据压缩合并成一个分区的数据，让一个分区的数据包含历史数据的信息。场景示例 计算最近1天店铺商品的老买家数。老买家是指过去一段时间有购买的...
数仓规划概述
在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间的全局架构，以实现业务划分、资源管控、项目管理等目的：逻辑空间：基于业务特征划分命名空间...
数仓规划概述
在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间的全局架构，以实现业务划分、资源管控、项目管理等目的：逻辑空间：基于业务特征划分命名空间...
资源规划及规格选型
说明 计存比是计算资源和实际存储数据量（单位为TB）的比值，即 计存比=计算资源/实际存储数据量。例如项目的计算资源为50 CU，实际存储数据量为10 TB，则计存比为 50 CU/10 TB=5。规格选型建议 如果您的项目处于开发测试阶段，推荐选择 ...
按量付费闲时版
计费说明 类型 计费公式 价格 SpotSQL作业（指计算配额为os_SpotQuota的普通SQL或查询加速SQL作业）SpotSQL作业当日总费用=计算输入数据量×SQL复杂度×单价 计费单价如下：公共云：0.1元/GB 金融云：0.19元/GB 引用外部表的SpotSQL作业...
参考：渐进式计算
背景信息 渐进式计算能够处理增量数据并维护中间结果数据，提高了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活性。例如在范围查询（Range Query）场景下（即查询一段时间范围内的数据），使用传统批处理方式和渐进式...
- 产品推荐
- 这些文档可能帮助您