大数据api开发-大数据api开发文档介绍内容-阿里云

GetDataServiceApi

调用GetDataServiceApi查询数据服务API开发态的详情。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action ...

UpdateDataServiceApi

调用UpdateDataServiceApi更新数据服务API开发态的信息。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action ...

数据服务入门

本文以MySQL数据源为例，为您介绍API开发的全套流程。前提条件已开通API网关（API Gateway）服务，用于统一管理及调用API，详情请参见 API网关服务。已创建目标数据源，作为生成API所需的源端输入数据。详情请参见配置数据源。本文示例...

最佳实践：API请求参数的选填设置

通过数据源封装数据API时，在某些业务场景下，需要设置API的请求参数为选填参数。当开发人员设置API的请求参数为选填参数后，调用方即可在调用API时自行选择是否要传入具体的请求参数值，实现更灵活的查询方式。本文将为您介绍如何在不同的...

查看、删除、移动、克隆、批量操作、代码搜索API

支持您在搜索框输入API名称、API Path、API描述或数据表名、字段名等关键字搜索API，还支持您按照负责人、业务流程、修改时间等过滤条件对查询结果进行筛选。查看搜索结果。搜索下方将为您展示匹配搜索条件的结果，包括：说明仅展示已发布...

数据服务API

数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位，实现数据服务API的高效查找。进入API查找界面进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据治理>数据地图，在右侧页面中单击 ...

AbolishDataServiceApi

调用AbolishDataServiceApi下线数据服务API。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

DeleteDataServiceApi

调用DeleteDataServiceApi删除数据服务API。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

PublishDataServiceApi

调用PublishDataServiceApi发布数据服务API。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

生成数据API

数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...

授权API

在API发布后，您可以将API授权给他人，或获取他人已授权的API，以实现数据共享。本文为您介绍如何对API进行授权及不同场景下API的授权方案。前提条件仅支持对已发布的API进行下线、授权和变更协议等操作，详情请参见发布API。进入API管理...

CreateDataServiceApi

调用CreateDataServiceApi创建数据服务API。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

测试API

在生成API时，如果需要将API发布至API网关进行托管，您需要完成对API的测试，验证调用API时的请求参数和返回结果是否符合预期；同时您也可以对已发布的API进行测试。本文为您介绍如何测试开发中和已发布的API。背景信息 API测试本质上是...

调用API

在API发布并授权之后，您可以通过简单身份认证（在请求头中添加AppCode）或加密签名身份认证（在请求头中添加AppKey和AppSecret）的方式调用API。本文为您介绍如何获取认证信息以及调用API的具体流程。前提条件您需要首先发布API至API网关...

通用数据查询与管理

如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据治理>数据地图，在右侧页面中单击...

加速服务

数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...

查看计量详情

API计量详情提供了各类可视化图表及统计数据，可以针对单个API分别查看监控图表，包括API网关状态码、数据服务错误码、App请求次数、流量带宽、平均响应时间。进入计量详情页面登录 DataWorks控制台，单击左侧导航栏的数据服务，在下拉框...

SubmitDataServiceApi

SubmitDataServiceApi用于提交数据服务API。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

RestAPI（HTTP形式）数据源

支持的字段类型类型分类数据集成column配置类型整数类 LONG，INT 字符串类 STRING 浮点类 DOUBLE，FLOAT 布尔类 BOOLEAN 日期时间类 DATE 数据同步任务开发数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置...

DeleteDataServiceApiAuthority

调用DeleteDataServiceApiAuthority取消数据服务API授权。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action...

GetDataServicePublishedApi

调用GetDataServicePublishedApi查询数据服务API的发布态信息。调试您可以在OpenAPI Explorer中直接运行该接口，免去...Action=GetDataServicePublishedApi&ProjectId=10002&TenantId=10003&ApiId=10001&公共请求参数正常返回示例 XML 格式 ...

开放API（OpenAPI）

DataWorks开放平台提供OpenAPI能力，通过调用DataWorks的OpenAPI使用DataWorks的各项功能，实现应用和DataWorks的集成和交互。背景信息 DataWorks的OpenAPI提供100多个API功能，通过调用API，可以快速进行批量操作和系统集成对接等工作，...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

CreateDataServiceApiAuthority

调用CreateDataServiceApiAuthority新增数据服务API授权。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action...

DataWorks OpenAPI概述

OpenAPI列表 DataWorks OpenAPI包括租户、元数据、数据开发、数据集成、数据建模、运维中心、数据质量、数据服务、数据保护伞、迁移助手及安全中心。租户 API名称 API描述 API级别最低版本要求（本版本及以上版本支持）ListCalcEngines ...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

ETL工作流快速体验

GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版基于GitHub Archive公开数据集，通过DataWorks 数据集成模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

云产品集成

请参见：什么是DataWorks 数据源概述支持的数据源及同步方案 ApsaraDB For OceanBase数据源实时计算 Flink 版实时计算 Flink 版是阿里云提供的全托管 Serverless Flink 云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优...

注册API

在API编辑页面的右侧导航栏中，单击版本，找到待申请版本单击申请发布跳转到申请页面，申请类型默认为发布数据服务API，填写申请原因后单击申请权限完成发布申请。说明工作空间定义审批流后需要走流程审批才可以发布API，详情请...

查看计量大屏

数据服务提供了计量大屏功能，您可以通过该功能查看各类可视化图表和统计数据，包括工作空间下的API总数、总调用次数以及总执行时长用量等信息，帮助您全面了解API的调用情况。同时，您也可以针对单个API查看监控图表，获取API网关状态码、...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

发布API

如果您的API是为了供自己的应用程序调用，需要在API网关中创建应用，将API授权到应用中，然后通过AppKey和AppSecret加密签名调用，详情请参见客户端调用API示例。同时API网关提供了主流编程语言的SDK，您可以快速集成API至自己的应用中，...

大数据AI公共数据集分析

教程简介阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...

实验介绍

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

最佳实践：数据ETL操作全流程实践

本文通过案例为您介绍如何通过DataWorks OpenAPI完成数据开发。背景信息假设一个简单的场景，开发人员想把RDS库里面的数据同步到一张MaxCompute分区表中，然后在自建系统的页面上展示经过数据分析后的报表数据，我们可以通过DataWorks ...

大数据api开发

新品推荐