大数据中台战略平台-大数据中台战略平台文档介绍内容-阿里云

导入解决方案

将某个工作组中下载的解决方案导入到其他工作组或项目，可实现数据治理工作环境的初始化、跨平台的资产发布及迁移，支持通过本地上传和OSS添加的方式导入解决方案。本文介绍如何导入解决方案。前提条件已在系统设置模块中创建需要导入解决...

01新建模型目录

操作步骤登录数据资源平台控制台。在页面左上角选择>协同。在顶部菜单栏，单击图标，选择工作组。在左侧导航栏，单击图标，选择数据模型设计。将鼠标悬停至我的模型，单击图标，选择新建目录。在新建目录对话框，输入目录的名称...

发布API

上架至阿里云API市场阿里云API市场涵盖了金融理财、人工智能、电子商务、交通地理、生活服务、企业管理和公共事务8大类目，目前已有数千款API产品在线售卖，是快速帮您实现数据变现的平台。数据服务生成和注册的API发布至API网关后，可以...

创建集群

通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...

查看表资产详情

操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择发现。在顶部菜单栏，单击资产目录。在资产目录页面，单击数据表页签，选择下面任意一种方式查找对应表资产。在关键词搜索框，输入资产名称或字段名称搜索表资产。...

JindoFS实战演示

云上计算云下数据：HDFS缓存加速云上计算云下数据：HDFS缓存加速 2021-06-29 随着云计算越来越成熟，带来弹性扩容、运维方便、节省成本等优点，越来越多企业开始将大数据平台搬到云上。云下的HDFS集群存在历史数据，其中可能包含敏感数据...

使用独立的Trino集群

背景信息在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...

续费

通过数据资源平台控制台续费若您购买的实例即将过期，可通过数据资源平台控制台进行续费。在数据资源控制台右上角，单击账号下拉列表，选择订单管理。在订单详情页面，单击续费。在续费页面，请您仔细核对购买信息并阅读阿里云产品...

常见问题

在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...

公共节点

公共场景支持计算引擎，提供节点统一定义、版本管理功能，提供在各个数据加工场景中跨存储/计算平台复用的能力，通过节点版本管理，定制适合不用业务或时期的数据加工流程，提高数据开发效率。操作步骤登录数据资源平台控制台。在页面...

Hadoop集群迁移至DataLake集群

背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...

授权信息

操作（Action）下表是开源大数据平台 E-MapReduce（EMR）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的API接口...

概述

背景信息在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...

功能发布记录 2022年之前

DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

新建数据服务API-SQL模式

操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。说明若您已在资产加工页面，请跳过“单击资产加工”的操作。在左侧导航栏，单击图标，选择 API...

产品概述

产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能描述 Dataphin全托管全托管又称公共云多租户模式，只需购买...

权限列表

查看权限列表登录数据资源平台控制台。在页面右上角，单击图标，选择系统设置。在页面左侧导航栏，单击权限列表。在权限列表页面，查看功能权限和数据权限。在功能权限页签下，查看各组件的权限内容。说明展示的权限点对于权限...

配置跨库Spark SQL节点

示例：某消费服务平台使用的是MySQL数据库，需要在数据仓库 AnalyticDB PostgreSQL版中对消费数据进行消费金额、消费笔数等的统计分析，将统计分析后的数据回传到消费服务平台上，供用户进行在线查询。将MySQL中的增量消费数据同步到 ...

文档修订记录

QueryPublicModelEngine 2023.10.20 新增功能上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...

风险识别规则

您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控，也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则，从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。...

查看与减少数据备份

本文介绍如何在DBS中查看备份数据大小，同时提供减少备份的方法。查看备份大小备份大小=全量数据备份的大小+增量数据备份的大小登录 DBS控制台。单击左侧导航栏中的备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入备份...

配置数据表资产目录

操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择运营。在顶部菜单栏，单击资产管理。在左侧菜单栏，选择系统资产管理>数据表管理，进入数据表资产管理页面。可选：可通过多种方式筛选资产，以便快速定位目标资产。...

快速入门

空间构建平台是一个独立的平台，该平台作为城市空间构建模块，可自定义实现空间数据编辑，并将空间数据项目运用在三维城市构建器中。本文为您介绍如何快速使用空间构建平台。前提条件已开通DataV服务。说明空间数据构建平台仅支持 DataV...

快速入门

空间构建平台是一个独立的平台，该平台作为城市空间构建模块，可自定义实现空间数据编辑，并将空间数据项目运用在三维城市构建器中。本文为您介绍如何快速使用空间构建平台。前提条件已开通DataV服务。说明空间数据构建平台仅支持DataV...

申请表资产

操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择发现。在顶部菜单栏，单击资产目录。在资产目录页面，单击数据表页签。单击目标表资产名称，进入表资产详情页面。单击申请权限。说明如果是管理员用户登录，则...

数据表

本文介绍如何查看我的数据表资产。...操作步骤登录数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择资产明细>我可使用的，在我可使用的页面，选择数据表＞申请授权。预期结果展示已授权成功的数据表。

执行补数据并查看补数据实例（旧版）

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击进入运维中心。在左侧导航栏，单击周期任务运维>周期任务，进入周期任务页面。目标节点补数据。单击周期任务...

数据归档概述

当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...

Check节点

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击图标，选择新建节点>通用>Check节点。根据界面指引，输入节点的路径、名称等信息。步骤二：...

新建API归属应用

操作步骤登录数据资源平台控制台。在页面右上角，单击账号下拉列表，选择系统设置。在左侧导航栏，单击应用管理。单击新建应用，输入应用名称、应用code和应用描述后，单击确认。配置项示例应用名称全域数据平台 应用code ...

计费逻辑说明

资源费用明细：数据服务API调用数据质量数据质量可对任务产出的表数据进行数据质量监控，DataWorks将根据数据质量规则实例数量计费。资源费用明细：数据质量 OpenAPI DataWorks提供OpenAPI，您可基于OpenAPI实现业务定制化开发，...

Sugar BI连接MaxCompute

Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目，并进行可视化数据分析。前提条件 ...

什么是数据库网关

数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里云。完成接入后，您可以直接将数据库网关中接入的数据库作为源库。数据管理DMS 数据管理DMS（Data Management Service）是一款支撑...

配置Elasticsearch输出

使用限制 DataWorks平台目前仅支持配置阿里云Elasticsearch5.x、6.x、7.x版本数据源，不支持配置自建Elasticsearch数据源。操作步骤进入数据开发页面。登录 DataWorks控制台。在左侧导航栏，单击工作空间列表。选择工作空间所在地域后...

DataHub通过数据集成批量导入数据

本文以Stream同步数据至DataHub的脚本模式为例，为您介绍如何通过数据集成导入离线DataHub数据。前提条件准备阿里云账号，并创建账号的访问密钥。详情请参见开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并...

查看空间元信息

操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。在左侧导航栏，单击图标，选择数据资源列表或已授权资源列表下数据源的数据表。在数据表页面的 ...

创建三维城市

若自定义空间数据项目中没有包括某个基底数据的内容，可以单击该暂无数据的基底数据内的去空间构建平台添加或者单击添加图层对话框右上角的前往空间构建平台创建项目，进入空间构建平台内添加所需基底数据。可选，如果您需要配置算法...

什么是数据库备份DBS

数据库备份DBS（Database Backup）是阿里云提供的低成本、高可靠的云原生数据库备份平台。DBS支持备份恢复MySQL、SQL Server、PostgreSQL、Oracle等近10种数据源，同时支持阿里云云数据库、阿里云ECS数据库、本地数据中心、其他云厂商等...

大数据中台战略平台

新品推荐