计算源
计算源提供数据来源，Quick Audience接入计算源后，每当拉取数据时，计算源将对原始数据进行用户身份识别和跨渠道数据整合，然后导入分析源。当前Quick Audience仅支持接入 阿里云大数据计算服务MaxCompute 类型的计算源，且仅支持接入一个...
设置Dataphin的计算引擎为StarRocks
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为...
新建MAX_COMPUTE_SQL任务
背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建MAX_COMPUTE_SQL任务 对话框。新建编写并...
安全白皮书概述
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
新建Flink计算源
Flink计算源用于承载Dataphin项目下基于Flink的计算资源，只有绑定了Flink计算源的项目，才支持基于Flink引擎研发计算任务。本文将为您介绍如何新建Flink计算源。操作步骤 在Dataphin首页，单击顶部菜单栏的 规划。进入数仓 规划 页面。...
创建Blink计算源
本文为您介绍如何创建Blink计算源。背景信息 阿里云实时计算Blink版独享/共享集群（原产品线）支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充，具备更加丰富的功能。更多关于Blink的内容请参见 实时计算Blink产品公告...
创建Blink计算源
本文为您介绍如何创建Blink计算源。背景信息 阿里云实时计算Blink版独享/共享集群（原产品线）支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充，具备更加丰富的功能。更多关于Blink的内容请参见 实时计算Blink产品公告...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
快速入门
如果您是首次使用智能数据建设与治理Dataphin，您可以参考快速入门文档，了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门
配置字段计算转换组件
本文为您介绍如何配置字段计算转换组件。配置属性 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 描述 步骤名称 根据当前组件的...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
新建Ververica Flink计算源
Ververica Flink计算源用于承载Dataphin项目下基于Ververica Flink的计算资源（以CU为单位，含资源队列），只有绑定了Ververica Flink计算源的项目，才支持基于Ververica Flink引擎研发计算任务。本文将为您介绍如何新建Ververica Flink...
新建离线计算模板
SPARK_JAR_ON_HIVE HADOOP_MR TDH Inceptor计算引擎 INCEPTOR_SQL SPARK_JAR_ON_HIVE HADOOP_MR ADB for PostgreSQL计算引擎 ADB_PG_SQL StarRocks计算引擎 STARROCKS_SQL ArgoDB计算引擎 ARGODB_SQL 选择目录 默认选择为离线计算模板。...
数据建模新能力解读
以下为您系列讲解阿里云智能数据建模新能力解读。课程视频列表 课程简介 课程内容：数据建模的发展背景。主要产品：DataWorks 课程时长：5分钟 课程内容：当前主流的数据建模方法论。主要产品：DataWorks 课程时长：4分钟 课程内容：数据...
MaxCompute账单用量明细分析
说明 一次标准版SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）一次SpotSQL计算费用=计算输入数据量×SQL复杂度×单价（0.1元/GB）通过Excel分析：分析 用量明细 中数据分类为 ComputationSql 的数据。对SQL作业费用进行排序，...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
创建TDH Inceptor计算源
TDH Inceptor计算源用于绑定Dataphin项目空间与TDH Inceptor，为Dataphin项目提供处理计算任务的计算源。如果Dataphin系统的计算引擎设置为TDH Inceptor，则只有项目空间添加了TDH Inceptor计算源，才支持规范建模、即席查询、Hive任务、...
配置字段计算转换组件
本文为您介绍如何配置字段计算转换组件。配置属性 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 说明 步骤名称 根据...
设置Dataphin实例的计算引擎为MaxCompute
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为创建的项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
续费
请您仔细核对购买信息并阅读 智能数据构建与管理服务协议，确认无误后选中《智能数据构建与管理服务协议》。单击 去支付，支付成功后即可完成续费。说明 系统仅支持按照已购买的配置进行续费。自动续费 进入 阿里云用户中心。在 用户中心 ...
维度层（DIM）
维度层简介 建立一致数据分析维表，可以降低数据计算口径和算法不统一风险。以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑和雪花模型，完成属性定义的过程并建立一致的数据...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
新建Ververica Flink计算源
Ververica Flink计算源用于承载Dataphin项目下基于Ververica Flink的计算资源（以CU为单位，含资源队列），只有绑定了Ververica Flink计算源的项目，才支持基于Ververica Flink引擎研发计算任务。本文将为您介绍如何新建Ververica Flink...
查看账单详情
上图中，产品明细说明如下：大数据计算服务MaxCompute（按量付费）、消费类型为 后付费：指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总，包括存储、计算、公网下载的按量计费账单。大数据计算服务...
设置Dataphin实例的计算引擎为MaxCompute
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为创建的项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
实验介绍
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
Dataphin免费试用申请
试用功能范围 版本：智能研发版-200数据处理单元 增值功能包：实时研发-标准版，资产质量-500规则，智能运维-3条基线+1条限流，数据标准-标准版，资产安全-标准版，资源治理-标准版，标签平台-试用版。若您希望体验API功能，可勾选数据服务...
2023年
2023-06-27 全部地域 MaxCompute JSON类型使用指南（试用Beta版本）增强数据写入时Zorder功能 MaxCompute增强Zorder功能，支持数据写入时全局进行统一排序，减少数据扫描量，提高计算性能。2023-06-27 全部地域 插入或覆写数据（INSERT ...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
- 产品推荐
- 这些文档可能帮助您