海量数据和大数据-海量数据和大数据文档介绍内容-阿里云

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

操作流程

新建数据字典并物理化通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见新建...

操作流程

新建数据字典并物理化通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见新建...

自定义RDBMS数据库及同步数据

操作流程自定义并应用MySQL数据库组件的流程如下：步骤描述步骤一：配置网络和创建数据表在您开始自定义并应用RDBMS数据库组件前，需要配置RDS MySQL实例和Dataphin间的网络，及创建同步数据的源表和目标表。步骤二：创建自定义数据源 ...

自定义RDBMS数据库及同步数据

操作流程自定义并应用MySQL数据库组件的流程如下：步骤描述步骤一：配置网络和创建数据表在您开始自定义并应用RDBMS数据库组件前，需要配置RDS MySQL实例和Dataphin间的网络，及创建同步数据的源表和目标表。步骤二：创建自定义数据源 ...

应用场景

数据分析业务云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

A100使用指南

通过系统监控引擎可以定制不同的审计规则，例如：定义敏感数据和不审计语句等规则。A100实例可以有效的评估数据库潜在风险，实时监控数据库用户的访问操作行为。支持审计的数据库类型数据库分类数据库版本阿里云原生数据库 RDS MySQL 5...

数据服务概述

数据安全和查询性能无法保障：在数据接口开发时往往只考虑数据的获取性，数据资源访问安全性和数据访问的稳定性考虑少。维护成本高：缺乏线上平台化管理，异常情况无法监控告警，线上业务问题暴露后再排查代码修复上线。数据服务价值为了...

资源组操作及网络连通

如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...

场景管理器

图表样式场景管理器是3D地球的子组件，支持独立的样式、数据和交互配置，能够使用数据定义镜头位置，通过移动和缩放的动效展示球体的不同位置。样式面板搜索配置：单击样式面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要...

划分数据域

数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常，您需要阅读各源系统的设计文档、数据字典和数据模型，研究逆向导出的物理数据模型。进而，可以进行跨源的主题域合并，跨源梳理出整个...

什么是MaxCompute

以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了...

新建 ADB 数据源

配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...

新建 PostgreSQL 数据源

新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件已创建 RDS PostgreSQL 实例。详情请参见创建 RDS PostgreSQL 实例。重要数据传输不支持 Serverless 模式实例和只读实例...

功能简介

通过我的资产清晰掌握可使用、可管理、已授权的数据表、标签和数据服务API数据资产相关信息。功能特性支持以用户的视角展示自有权限或申请授权成功的数据表、标签、数据服务API资产。支持特定角色对数据表、标签、数据服务API等数据资产...

增量数据同步

通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件已新建工作组“信息中心（xxzx）”，具体操作，请参见新建工作...

查看数据迁移项目的详情

启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...

Catalog概述

本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...

DataStudio侧实时同步任务配置

您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见实时同步支持的数据源。说明数据源...

创建数据库

若要使用云数据库RDS，您需要在实例中创建数据库。...如果您使用一键上云等迁移方式将本地自建数据库迁移上云时，表空间将与本地自建数据库表空间名称相同，支持将数据库和表的表空间修改为 pg_default。下一步连接PostgreSQL实例。

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...

产品优势

支持秒级甚至毫秒级对海量数据进行查询和计算，复杂SQL查询速度相比传统的关系型数据库快10倍。支持计算资源按需在线扩缩容、分时弹性和按需弹性等功能；同时支持冷热数据分层存储，存储空间按实际使用的存储空间计费，大大降低了计算和...

数据标准概述

Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息数据标准目标是为业务、技术和管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...

数据标准概述

Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息数据标准目标是为业务、技术和管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...

功能特性

结构初始化涉及的数据类型映射关系异构数据库间的数据类型映射关系数据校验数据校验是DTS提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题功能集功能 ...

超图REST栅格瓦片

数据源单击配置数据源，可在设置数据源面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果展示数据请求的响应结果。当数据源发生改变时，可单击右侧的图标，实时查看数据响应结果。说明还可将...

ArcGIS栅格瓦片

数据源单击配置数据源，可在设置数据源面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果展示数据请求的响应结果。当数据源发生改变时，可单击右侧的图标，实时查看数据响应结果。说明还可将...

新建 MySQL 数据源

配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。操作步骤登录 OceanBase 管理控制台。在左侧导航栏，单击数据传输>数据源管理。在数据源列表页面，单击右上角的新建数据源。在新建...

新建 Oracle 数据源

配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤登录 OceanBase 管理控制台。在左侧导航栏，单击数据传输>数据源管理。在数据源列表页面，单击右上角的新建数据源。在 ...

S3M BIM

数据源单击配置数据源，可在设置数据源面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果展示数据请求的响应结果。当数据源发生改变时，可单击右侧的图标，实时查看数据响应结果。说明还可将...

数据标准

通过设计标准数据元、数据指标、维度和维度属性，对关键业务对象以及属性和值域进行定义，制定并管理平台遵循的统一数据标准，管控数据的一致性和数据质量。模型标准设计逻辑表命名规则：支持对逻辑表命名标准的规范设计，可基于模型命名...

S3M管网

数据源单击配置数据源，可在设置数据源面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果展示数据请求的响应结果。当数据源发生改变时，可单击右侧的图标，实时查看数据响应结果。说明还可将...

系统管理

上传数据至EMR Hive、Hologres引擎：仅支持使用独享资源组（即数据分析>系统管理相应引擎必须配置为独享调度资源组和独享数据集成资源组）。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源...