异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
生态对接
无特殊要求 MaxCompute：JDBC驱动v3.0.1及以上版本 SQL Workbench/J连接MaxCompute JDBC驱动程序 ETL工具 ETL（Extract-Transform-Load）用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。...
新建数据元
用“教育水平”这个数据元来统一描述人的受教育程度或者文化水平等类似的概念。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工...
新建数据元
用“教育水平”这个数据元来统一描述人的受教育程度或者文化水平等类似的概念。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 ...
基本水位图
当数据描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
数据模型
基本概念 物联网、应用监控、工业互联网等典型的时序场景下，数据源（Data Source）通常按一定的周期持续产生时序数据，一条时序数据由Tag、Timestamp、Field等元素共同来描述，具有相同特征的一类数据存放在同一张表中，表的时序数据元素...
管理数据集
数据集是基于特定数据库和SQL查询生成，并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
术语表
控制台术语 名词 描述 地域 数据中心所在的地理位置。可用区 可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（实例）PolarDB-X采用多节点集群的架构，集群中有多个CN和DN，集群也称为...
AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源提供读取和写入AnalyticDB for PostgreSQL的双向功能，本文为您介绍DataWorks的AnalyticDB for PostgreSQL数据同步的能力支持情况。使用限制 离线同步支持读取视图表。支持的版本 支持版本最高至7.0（含）...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
2020年
时空数据库（V3.0）类别 名称 描述 相关文档 新增 支持具有SubSet的NetCDF数据类型数据 新增支持具有SubSet的NetCDF数据类型数据，可按照指定的图层名称导入。无 栅格数据自定义元数据以及时序信息 新增ST_MetaItems函数，获取所有的自定义...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
GBase8a数据源
GBase8a数据源为您提供读取和写入GBase8a双向通道的功能，本文为您介绍DataWorks的GBase8a数据同步的能力支持情况。使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 新增和使用独享数据集成资源组。insert into.：当主键或唯一性...
2022年
2022-10-14 存储类型 2022年09月 功能名称 功能描述 发布时间 相关文档 新增地域支持部署多可用区实例 新特性 云数据库MongoDB新增以下地域和可用区支持部署4.4和5.0版本的多可用区实例：华东2（上海）：上海可用区B、G和L。华北2（北京）...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
功能特性
时序协议支持 搜索引擎 单点查询 用主键或唯一索引来进行查询，可以用来快速查询或更新某个数据项。单点查询 多维检索 面向复杂的多维查询场景，Lindorm内部会自动为Tag建立索引，支持根据Tag来进行多维检索查询。多维检索 自定义词典 搜索...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
基本概念
WKT WKT全称Well-known text，是OGC定义的一种用文本来描述空间对象的格式。例如点就可以写成POINT(0,0)，这在查询语句中经常使用，CQL&ECQL中也是用WKT来表示空间对象，WKT的详细规范请参考：参考。WKB WKB全称Well-known Binary，是OGC...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
简介
空间/时空数据（Spatial/Spatio-temporal Data，以下统称时空数据）是带有时间或空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。说明 AnalyticDB PostgreSQL版Serverless模式 暂不支持Ganos功能。申明 ...
控制台发布记录
2024-3-7 开启冷数据归档 数据与缓存一站式 PolarDB MySQL版 支持数据与缓存一站式功能，在保证数据强一致性的同时，面向在线业务场景构建一套完整的数据库+缓存的解决方案。2024-3-12 灰度发布中 PolarDB MySQL推出数据与缓存一站式功能 ...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
基本概念
Lindorm Ganos中所称的时空几何，其范畴包含以下几方面：时空几何对象 矢量数据，如点、线、面状要素 在矢量数据基础上结合时间属性，组成的时空数据（或时空轨迹数据）针对时空几何对象的相关操作，如时空关系判断 时空索引 Lindorm Ganos...
新功能发布记录
02-22 RDS PostgreSQL主实例规格列表 RDS PostgreSQL只读实例规格列表 01月 类别 功能名称 功能描述 发布时间 相关文档 新增 IO加速 RDS PostgreSQL通用云盘新增支持IO加速，通过高速缓存介质来提升数据库的读写性能，针对临时表和查询产生...
基本概念
WKT WKT全称Well-known text，是OGC定义的一种用文本来描述空间对象的格式。例如点就可以写成 POINT(0,0)，这在查询语句中经常使用，也容易理解，CQL&ECQL中也是用WKT来表示空间对象的。WKT的详细规范请参见：...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
- 产品推荐
- 这些文档可能帮助您