上海大数据公共服务平台-上海大数据公共服务平台文档介绍内容-阿里云

基本概念

本文将为您介绍数据服务的Dataphin数据源服务、API服务、分组、服务单元和应用等基本概念。基本概念说明 Dataphin数据源配置数据表生成Dataphin数据源。服务单元对数据表进行统一的元数据配置。应用消费数据服务（调用API或Dataphin...

查看API详情

前提条件已创建下面任意一种API，具体操作，请参见：使用向导模式创建数据服务API 使用SQL模式创建数据服务API 使用向导模式创建三方API 使用批量方式创建三方API 创建数据上报API 创建空间服务API 操作步骤登录数据资源平台控制台。...

查看API操作日志

前提条件已创建下面任意一种API，具体操作，请参见：使用向导模式创建数据服务API 使用SQL模式创建数据服务API 使用向导模式创建三方API 使用批量方式创建三方API 创建数据上报API 创建空间服务API 操作步骤登录数据资源平台控制台。...

其他问题

为什么不能在调度资源组上进行大数据计算？其他如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...

上线API

前提条件已创建下面任意一种API，具体操作，请参见：使用向导模式创建数据服务API 使用SQL模式创建数据服务API 使用向导模式创建三方API 使用批量方式创建三方API 创建数据上报API 创建空间服务API 操作步骤登录数据资源平台控制台。...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...

概述

Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接到许多存储系统。背景信息在大数据生态系统中，Alluxio位于数据驱动...

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...

数据服务概述

DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...

E-MapReduce本地盘实例大规模数据集测试

大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...

AbolishDataServiceApi

调用AbolishDataServiceApi下线数据服务API。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

数据重排

在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...

流式数据通道概述

MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...

数据服务API

数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位，实现数据服务API的高效查找。进入API查找界面进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据治理>数据地图，在右侧页面中单击 ...

问题汇总

补数据补数据功能说明为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...

购买指引

场景1：新用户推荐配置推荐配置推荐原因功能：推荐购买专业版，专业版满足企业专业的数据仓库构建需求，覆盖数据开发、任务运维、数据地图、数据质量等绝大部分功能。资源：推荐购买独享数据集成资源组，以支持更好的同步体验，支持离...

概述

从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...

查看服务

发布服务后可以查看到服务的详情和数据项，本文介绍如何查看服务详情。前提条件已发布服务，更多操作请参见发布服务。操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组...

使用DataWorks连接

DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...

迁移MongoDB实例至其他地域

本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件源实例类型为单节点实例或副本集实例。如果源实例为分...

数据传输费用（公网下载）

本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费，并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单，您可以进入费用中心查看。下载计费规则如下。计费公式价格说明一次下载...

跨阿里云账号迁移MongoDB实例

如果您的数据库小版本过期或者不在维护列表内，当执行实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例或恢复云数据库MongoDB单个或多个数据库等操作时，为保证提供更出色...

使用DTS迁移副本集架构的自建MongoDB数据库上云

使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...

从MongoDB副本集实例迁移至分片集群实例

本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB副本集实例迁移至分片集群实例。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移。前提条件确保...

企迈云商

本文介绍数据库自治服务DAS助力企迈云商，提供数字化的新零售生态服务。客户简介安徽智迈科技股份有限公司创立于2009年，是一家专注线下商家运营解决方案的提供商。致力于帮助商家营造更丰富的消费场景及更精细的门店运营，实现全渠道、全...

典型场景

大数据分析平台对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...

从自建Redis迁移至阿里云Redis

本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至阿里云Redis实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移...

日志服务通过数据集成投递数据

本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件准备好相关的数据源，详情请参见创建MaxCompute...

从自建Redis迁移至Tair实例

本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...

数据服务：低成本快速发布API

DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为企业提供全面的数据共享能力，帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述作为数据仓库与上层应用系统间的...

使用DTS将MongoDB Atlas数据库迁移至阿里云

本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...

什么是EMR Serverless Spark

它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless Spark，企业可以更专注于数据分析和价值提炼，提高工作效率。产品特性构建企业级全托管的数据...

大数据AI公共数据集分析

本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...

OSS/OSS-HDFS概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...

功能简介

数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码、可视化构建全场景专家模型，重塑大数据服务创新模式。将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，...

实例迁移的最佳实践

物联网平台提供实例迁移功能，可助您将旧版公共实例下产品、设备和规则引擎数据迁移到企业版实例中使用。本文以某共享服务企业为例，介绍实例迁移的业务改造和迁移方案。背景信息 A公司的用户共享服务平台，采用阿里云物联网提供的设备管理...

数据服务

场景 数据服务资源组类型独享数据服务资源组 公共数据服务资源组实例模式同租户访问RDS 数据服务API能够正常编辑和保存 数据服务API能够正常编辑和保存跨租户访问RDS 数据服务API能够正常编辑和保存保存API时报错：存在安全风险，需要...

DataWorks按量计费概述

例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用等操作。重要当实例欠费后有停机风险，系统会提醒或通知您，请及时续费，避免对您的服务造成影响。公共调度资源组、公共...

发布API

上架至阿里云API市场阿里云API市场涵盖了金融理财、人工智能、电子商务、交通地理、生活服务、企业管理和公共事务8大类目，目前已有数千款API产品在线售卖，是快速帮您实现数据变现的平台。数据服务生成和注册的API发布至API网关后，可以...

上海大数据公共服务平台

新品推荐