数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
外部表概述
外部表示例 您可以通过以下示例，深入了解通过MaxCompute外部表功能处理各种非结构化数据的方法：访问OSS和TableStore（OTS）非结构化数据，请参见 访问OSS非结构化数据 和 访问OTS非结构化数据。外部表访问OSS的账号，在RAM中自定义授权...
常见术语
数据湖 数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据，数据湖支持存储EB级别的数据，阿里云数据湖存储以OSS为代表！数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代...
valuePath配置规则
当图形用户界面GUI（Graphical User Interface）的渲染结构和数据结构不一致时，您可以通过valuePath字段处理对应的关系，使配置和数据一一对应。使用场景 一般情况下，GUI渲染结构和数据结构是一致的，例如：GUI渲染结构 {"apply":{"type...
valuePath配置规则
当图形用户界面GUI（Graphical User Interface）的渲染结构和数据结构不一致时，您可以通过valuePath字段处理对应的关系，使配置和数据一一对应。使用场景 一般情况下，GUI渲染结构和数据结构是一致的，例如：GUI渲染结构 {"apply":{"type...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
大数据安全治理的难点
说明 此处的资产不单单局限于结构化、非结构化数据资产，还包括硬件资产、IAAS/PAAS/SAAS、甚至人员资产，因为任意一个资产被攻破，都会导致企业关键信息被侵害。这些资产存在哪些风险？在真实的业务场景下，企业数据资产不可避免地会经历...
应用场景
背景 HBase的设计之初是为了满足互联网的大数据场景，几乎所有非强事务的结构化、半结构化的存储需求都可以使用HBase来满足。ApsaraDB for HBase是NoSQL（Not only SQL），也支持SQL及二级索引。大数据场景 云数据库HBase支持海量全量数据...
核心能力
统一数据服务封装 实时、离线、半结构化、非结构化、消息队列的数据服务封装。支持向导模式和SQL模式等的服务封装。简单身份认证和加密签名身份认证模式。数据服务调用流量管控。行业知识敏捷交付 工作组下API服务、模型、节点、场景、指标...
功能简介
支持创建、编辑和测试API，支持的API类型包括实时查询类、离线批量类、流式数据类、非结构化数据类。数据服务API：将数据库中的表通过向导模式和SQL模式配置生成API，方便开发者申请使用或调用。目前支持的云计算资源有ApsaraDB for RDS、...
未来规划
结构化与非结构化数据如何融合异构处理，比如如何用向量处理引擎把非结构化数据变成结构化数据，高维向量、多源异构数据处理的技术。数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持...
基本介绍
核心特性 云数据库HBase增强版的内核来自于云原生多模数据库Lindorm宽表引擎，作为面向大数据领域的NoSQL服务，专注于低成本、高扩展、智能化的半结构化和非结构化存储场景，完全兼容HBase协议。目前，云原生多模数据库Lindorm是阿里集团最...
统一服务
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
表
MaxCompute仅会记录表格的Meta信息，您可以通过MaxCompute的外部表机制处理OSS或OTS上的非结构化数据，例如，视频、音频、基因、气象、地理信息等。相关文档 外部表相关信息请参见 外部表概述，您可以根据该文档对外部表执行创建、读取及...
支持的数据库
库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 2.0同步至Elasticsearch Oracle（RAC或非RAC架构）版本为9i、10g、11g、12c、18c、19c 库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 2.0同步至自建Oracle 表格...
功能优势
为了让您对非结构化数据拥有更多的自主控制权，您可以把非结构化数据保存在OSS或者图片服务器上（下图使用OSS），非结构化数据的保存地址即URL存储在分析型数据库MySQL版中，整体架构如下所示。通过分析型数据库MySQL版控制台注册特征提取...
功能特性
创建反向实例 容灾&多活 双向同步 支持创建两个数据库之间（比如RDS MySQL与自建MySQL）的双向数据实时同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。MySQL实例间的双向同步 PolarDB PostgreSQL版（兼容Oracle）集群间的...
技术发展趋势
IDC在《Data Age 2025》的报告中预测到2025年非结构化数据占企业数据的80%以上，并且以每年55%的速度增长。如果没有工具来分析这些海量数据，企业无法在商业智能表上留下大量有价值的数据。因此，“数据多模”需求被逐步提出。传统大数据...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
识别任务说明
非结构化数据识别配置 扫描范围 选择非结构化数据（OSS）的扫描范围。可选项：全局扫描：扫描您在 作用域 中选择的全部非结构化数据资产（OSS）。指定扫描范围：选择需要扫描的Bucket。仅支持选择在 作用域 中配置的资产，可选择多个Bucket...
功能特性
Spark访问湖仓一体外部数据源 基于External Volume处理非结构化数据 通过创建External Volume挂载OSS的路径，利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制，同时利用 MaxCompute引擎处理External Volume内部的...
基本概念
元数据管理 对非结构化类型的数据表进行统一的结构化（二维化）配置及管理。网络配置 应用能够成功调用API或Dataphin数据源的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。实例级别选择所需同步的DDL和DML 按实例级别选择同步的DDL或DML操作，支持的同步操作，请参见 支持同步的SQL操作。说明 如需按库或表级别选择同步的SQL...
缓存分析
A：该报错表示Redis实例里面存在非标准的Bloom结构，您可以把这些Bloom结构的Key删掉，或者将Redis实例升级到Redis企业版（Tair），并将非标准的Bloom结构修改为TairBloom结构。Q：如何处理报错 decode rdbfile error:rdb:invalid file ...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择...
控制台界面使用常见问题
DataV是一个可以让更多人看到数据可视化魅力，帮助非专业的工程师通过图形化界面轻松搭建专业水准的可视化应用，它可以满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。相关介绍请参见 产品简介，同时，您可以单击...
X-Engine简介
在内存中即为一个排序的内存数据结构（Skiplist、B-Tree等），在持久化存储也作为一个只读的全排序持久化存储结构。普通的存储系统若要支持事务处理，需要加入一个时间维度，为每个事务构造出一个不受并发干扰的独立视域。例如存储引擎会对...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择...
数据建模：智能数据建模
适用场景 DataWorks智能建模可助力企业构建自身建模能力，挖掘企业的数据资产价值，例如：海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。源库和目标库结构映射模式 根据业务需求，选择结构映射模式，以对不同结构的源目库进行映射。警告 如您选择不使用源库的Schema名称，则源库...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。源库和目标库结构映射模式 根据业务需求，选择结构映射模式，以对不同结构的源目库进行映射。警告 如您选择不使用源库的Schema名称，则源库...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。实例级别选择所需同步的DDL和DML 按实例级别选择同步的DDL或DML操作，支持的同步操作，请参见 支持同步的SQL操作。说明 如需按库或表级别...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。实例级别选择所需同步的DDL和DML 按实例级别选择同步的DDL或DML操作，支持的同步操作，请参见 支持同步的SQL操作。说明 如需按库或表级别...
创建数仓分层
将原始的非结构化数据（例如，日志信息）进行结构化处理，并存储至MaxCompute。根据实际业务需求，记录原始数据的历史变化或对原始数据进行简单的清洗。ODS层的数据表，命名必须以 ods 开头，并且生命周期为 366 天。明细数据层 DWD（Data ...
什么是云原生内存数据库Tair
为什么选择云原生内存数据库Tair 丰富的产品形态 从访问延时、持久化需求、整体成本这三个核心维度考量，基于DRAM（Dynamic Random Access Memory）、NVM（Non-Volatile Memory）和ESSD云盘等存储介质，推出了 内存型、持久内存型、磁盘型 ...
PolarDB PostgreSQL版间的迁移
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择...
概述
数据建模的必要性 海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个企业都将面临的一个挑战。业务数据互联互通，打破信息壁垒 公司内部各业务...
自建Oracle间迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启ARCHIVELOG（归档模式），...
- 产品推荐
- 这些文档可能帮助您