常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
接入数据库实例
功能说明 DAS支持接入阿里云数据库、阿里云ECS自建数据库、其他自建或其他云厂商数据库（包括本地IDC的自建数据库、其他云上的自建数据库、其他云上的云数据库等）。对于阿里云数据库，创建实例后会自动接入DAS，无需手动接入。功能限制 ...
什么是DataTrust
Party Computation，MPC）、联邦学习（Federated Learning，FL）、差分隐私（Differential Privacy，DP）等隐私增强计算（Privacy Enhancing Technique）技术打造的隐私增强计算平台，在保障数据隐私及安全前提下完成多方数据隐私求交、...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
管理运维中心
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在 项目空间 页面，单击待操作项目所在行的 运行记录。单击上方的 概览 页签。展示当前项目...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
兼容性概述
BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
创建Hologres数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至当前Hologres数据源，或将当前Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步解决...
数据连接管理
在配置任务时，您可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需您手动输入，避免了重复输入数据库信息的繁琐步骤。本文介绍如何录入、保存、编辑或删除数据库实例。前提条件 若您需要录入其他阿里云账号的数据库，需要对登录...
公共规范
本文为您介绍建设MaxCompute数据仓库的公共规范。层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
回收站
云数据库 MongoDB 版 的回收站用于保存到期、欠费、已释放的 MongoDB 实例，您可以在 回收站 对这些实例进行续费解锁、重建、销毁等操作。注意事项 单节点实例释放后，不支持从 回收站 中恢复。Serverless实例释放后，不支持从 回收站 中...
基于Delta lake的一站式数据湖构建与分析实战
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
跨账号授权配置
AnalyticDB for PostgreSQL：具体操作，请参见 创建AnalyticDB for PostgreSQL数据源 AnalyticDB for MySQL：具体操作，请参见 创建AnalyticDB for MySQL3.0数据源 数据源为RDS、Hive或Kafka 数据源实例所属云账号操作 登录 RAM 访问控制-...
长周期指标的计算优化方案
本文为您介绍如何对长周期指标的计算进行优化。实验背景 电子商务公司在电商数据仓库和商业分析场景中，经常需要计算最近N天...计算老买家数量时，判断最近一次购买时间是否在30天之内，从而最大程度上的数据关系对去重，减少计算输入数据量。
输入节点
运行配置 运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
输入节点
运行配置 运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...
数据质量评估标准
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...
计算巢按量付费服务云市场上报数据说明
计算巢服务上架云市场且设置为按量付费后，需要上报服务实例资源或数据以便云市场计算费用。本文介绍如何上报数据和修改数据的上报方式。背景信息 数据上报是指计算巢将云市场购买的计算巢服务实例中使用的资源数据推送至云市场，云市场在...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
关于我们
阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践，所以她的提出是基于解决实际的数据安全问题和大数据场景需要，这就决定了她的基因里面就是贴身于实际产业应用。目前团队中拥有全职博士4名，研究型密码学博士实习...
什么是阿里云Cloudera CDP
阿里云版CDP 您可以在阿里云心选市场选择合适您工作负载的CDP版本，基于阿里云环境，可以为您解决以下两方面的痛点：开源社区版Cloudera CDH License到期的问题 —— 阿里云商业版CDP提供正版license，并且只需较低成本即可享受。...
E-MapReduce本地盘实例大规模数据集测试
大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...
本地邮件数据迁移Outlook+IMAP
本文旨在对某些企业原邮箱数据只保存在本地的用户，通过Outlook客户端配置IMAP模式反传本地邮件数据到阿里邮箱的操作说明。顺序：步骤：说明 1、大部分版本的Outlook已不支持同时配置多个相同地址的账号，即便服务器地址不一致。可以通过给...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
数据源配置常见问题
如果您已有API中的逻辑在使用DataV的API数据源时不支持（例如计算签名等），可使用阿里云API网关托管您的API，DataV连接阿里云API网关数据源时可以间接调用您在API网关中托管的API，此时阿里云API网关相当于API的代理。具体使用操作请参见 ...
数据源配置常见问题
如果您已有API中的逻辑在使用DataV的API数据源时不支持（例如计算签名等），可使用阿里云API网关托管您的API，DataV连接阿里云API网关数据源时可以间接调用您在API网关中托管的API，此时阿里云API网关相当于API的代理。具体使用操作请参见 ...
什么是图计算服务
图计算服务Graph Compute是阿里云自主研发的高性能分布式图计算产品，为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
- 产品推荐
- 这些文档可能帮助您