访问列存数据
Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储，相较于行式存储，列式存储的查询响应时间更短，消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据。背景信息 Lindorm列存是面向海量半结构化、结构化数据设计的列...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
基本概念
元数据管理 对非结构化类型的数据表进行统一的结构化（二维化）配置及管理。网络配置 应用能够成功调用API或Dataphin数据源的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用...
识别任务说明
扫描速度 不同类型数据库的扫描速度说明如下，该扫描速度仅供参考：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据（TableStore、MaxCompute等）：对于较大的数据库（即表数量大于1000个），扫描速度为1000列/分钟。非结构化...
功能简介
支持创建、编辑和测试API，支持的API类型包括实时查询类、离线批量类、流式数据类、非结构化数据类。数据服务API：将数据库中的表通过向导模式和SQL模式配置生成API，方便开发者申请使用或调用。目前支持的云计算资源有ApsaraDB for RDS、...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
2023年
2023-04-06 全部地域 作业运维（新版）2023-03 功能名称 功能描述 发布时间 发布地域 相关文档 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据 MaxCompute支持使用Spark和MapReduce任务在仓内处理基于OSS的External ...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
Schema约束
无论是在APM领域，还是IoT领域，或者是更偏传统的工业领域，时序数据所表现出的数据模型更像是一个半结构化数据——有其遵循结构化定义的一面、也有可灵活扩展的一面，而不是完全等同于关系型数据库的纯结构化。而在实际应用中，随着设备的...
功能特性
通过Kafka导入数据 通过Flink导入数据 云数据库 SelectDB 版支持通过SelectDB提供的Flink连接器（SelectDB Connector for Apache Flink），将Kafka中的非结构化数据以及MySQL等上游业务数据库中的变更数据，实时同步到云数据库 SelectDB 版...
功能特性
分区表 外部表 OSS外部表 可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。OSS外部表 Tablestore外部表 将Tablestore的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
产品简介
应用场景 数据分析场景，通过元数据发现、数据探索能力，可以快速的对OSS内结构化、半结构化数据进行分析、探索。结合 E-MapReduce、OSS 两个产品，DLF协助客户快速构建云上数据湖。结合 MaxCompute、DataWorks、E-MapReduce 3个产品，DLF...
技术发展趋势
生产处理智能化 企业视之为有价值的数据，不再仅仅限于结构化数据，大量半结构化数据（如日志）、非结构化（音视频）等等比例在持续增加。IDC在《Data Age 2025》的报告中预测到2025年非结构化数据占企业数据的80%以上，并且以每年55%的...
混合检索使用指南
当前支持的半结构化类型包括：JSON、JSONB和Array等所有半结构化字段，这些结构化字段可以通过创建GIN索引在混合查询中进行加速。半结构化类型的详细信息请参见 JSON&JSONB 数据类型 和 Array数组类型。向量查询和全文检索组成的双路召回。...
核心能力
统一数据服务封装 实时、离线、半结构化、非结构化、消息队列的数据服务封装。支持向导模式和SQL模式等的服务封装。简单身份认证和加密签名身份认证模式。数据服务调用流量管控。行业知识敏捷交付 工作组下API服务、模型、节点、场景、指标...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
基本概念
结构初始化：将源库中待同步对象的结构定义信息，同步至目标库中。全量数据初始化：将源库中待同步对象的存量数据，同步至目标库中。同步性能 同步性能是指每秒同步到目标库的记录数。单位为每秒记录数（RPS），详情请参见 数据同步链路...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
功能特性
数据驱动三维世界生成 提供官方基底、空间构建和模型建筑等三维城市功能，能够快速接入结构化的城市地理数据，以数据驱动城市模型的自动化生成。低代码交互功能开发 提供简单连线的方式实现组件间的交互配置，使复杂的交互逻辑可视化呈现，...
功能特性
数据驱动三维世界生成 提供官方基底、空间构建和模型建筑等三维城市功能，能够快速接入结构化的城市地理数据，以数据驱动城市模型的自动化生成。低代码交互功能开发 提供简单连线的方式实现组件间的交互配置，使复杂的交互逻辑可视化呈现，...
从RDS MySQL同步至Tablestore
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）同步至Tablestore...
数据同步操作指导
结构初始化涉及的数据类型映射关系 由于不同的数据库支持的数据类型不一样，数据类型无法完全对应。DTS在执行结构初始化时，会根据目标库支持的数据类型进行类型映射，您可以查阅并评估类型映射对业务的影响。功能特性 详情请参见 数据同步...
应用场景
背景 HBase的设计之初是为了满足互联网的大数据场景，几乎所有非强事务的结构化、半结构化的存储需求都可以使用HBase来满足。ApsaraDB for HBase是NoSQL（Not only SQL），也支持SQL及二级索引。大数据场景 云数据库HBase支持海量全量数据...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
数据分析整体趋势
技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九十年代得到了发展。近些年来，随着业务数据量的...
概述
DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生更多的价值，将数据价值最大化。前提条件 您需要开通DataWorks智能数据建模后，才可以使用该产品功能，详情请参见 智能...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：通常在OLTP场景中，为提高业务表响应速度，通常会做分库分表处理。而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：通常在OLTP场景中，为提高业务表响应速度，通常会做分库分表处理。而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源，且不再支持DDL同步。选择为 否：默认选项，支持DDL同步。说明 多表归并...
从RDS同步到云原生数据仓库AnalyticDB MySQL
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源，且不再支持DDL同步。选择为 否：默认选项，支持DDL同步。说明 多表归并...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表...
同步时源库为SQL Server的注意事项及限制
其他限制 同步对象的要求：支持结构初始化的对象有database、schema、table。不支持同步数据类型TEXT、CURSOR、ROWVERSION、HIERACHYID、SQL_VARIANT、SPATIAL GEOMETRY、SPATIAL GEOGRAPHY。如在 配置任务对象及高级配置 时选择 SQLServer...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源，且不再支持DDL同步。选择为 否：默认选项，支持DDL同步。说明 多表归并...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源，且不再支持DDL同步。选择为 否：默认选项，支持DDL同步。说明 多表归并...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败，请谨慎操作。目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
玄武分析型存储
多种索引类型多路归并查找的过程如下所示：结构化与非结构化融合 玄武存储层索引管理器实现结构化索引与非结构化索引的统一管理，如数值类的BKD索引、字符串类的倒排索引、非结构化的JSON索引及向量索引，还有文本数据的全文索引。...
什么是Dataphin
规范建模 编码研发 基于通用的代码编辑页面，灵活地进行个性化的数据编码研发，完成任务发布。编码研发 资源及函数管理 支持管理各种资源包（例如JAR、文本文件），以满足部分数据处理需求。支持查找与使用内置的系统函数。支持用户自定义...
- 产品推荐
- 这些文档可能帮助您