应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
创建数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。注意事项 支持在控制台...
管理数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。前提条件 已创建RDS ...
管理数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。建库建表数量限制 账号...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
库表结构优化
数据特征差异 用户的数据分布和查询特征会随着业务特征的变化而变化，若一直按照最初的建模方式和SQL语句，将无法保障SQL引擎发挥出最大优势，而数据特征或业务模型的变化，都会导致SQL性能回退。基于以上问题，AnalyticDB MySQL版 为用户...
特征管理
本文介绍了在PolarDB for AI中，特征管理的适用场景，以及创建特征、更新特征、查看特征状态、查看特征列表以及删除特征的语法及其示例内容。适用场景 从原始数据直接构建机器学习模型往往比较困难。机器学习模型的输入一般会先对原始数据...
非结构化分析
功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。AnalyticDB PostgreSQL版 向量检索分析基于MPP查询架构构建，帮助用户实现基于SQL...
产品架构
整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向专用的时序文件TSFile的结构设计为以时间窗口进行切片，数据在物理和...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
概述
PolarDB for AI 功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态，实现了基于数据库的数据智能的一站式服务。本文介绍了 PolarDB for AI 功能的相关特性。背景信息 随着数据的累积，数据驱动的智能应用（例如：搜索、...
简介
以车联网为例，海量的车辆终端在不断地产生轨迹数据，轨迹数据包含了时间和空间位置。利用HBase Ganos，实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外，还可以进行实时时空查询，如查询某段时间的轨迹，某段...
应用场景
要深度并且快速的挖掘海量数据的关联特征，使用传统的方法则会面临非常大的技术挑战。通过图表示学习技术，提取知识图谱中的拓扑信息特征，作为风控模型的输入条件，参与模型训练，可以帮助金融机构构建更高精度的风控模型。商品推荐 基于...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
ETL工作流快速体验
智慧城市人口财产主题分析 DataWorks MaxCompute 数据开发 以人口、房产等相关数据整合与人口特征提取为例，使用DataStudio 数据开发 模块。通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下数据加工...
数据重排
背景信息 数据重排就是根据数据的特征把具有相同列值字段通过排序放在一块，以提高压缩率。MaxCompute中支持以下排序方式对数据进行重排：ORDER BY：全局排序，将数据全部放到一个Reducer排序，详情请参见 ORDER BY全局排序（order_...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
常见问题
数据安全中心是以数据采样的方式实现敏感数据识别，不会保存用户的生产数据。购买时签署的协议为阿里云产品服务协议（通用）。更多信息，请参见 数据安全中心服务条款。敏感数据识别相关问题 为什么敏感数据识别和分类是数据安全保护的基础...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
案例：搭建以图搜图系统
本文将介绍如何通过 AnalyticDB PostgreSQL版 向量数据库快速搭建一套以图搜图系统。背景信息 以图搜图在生活中有着广泛的应用，当您想拥有在电视中看到的一件美丽裙子或者帅气球鞋时，可以拍张照片，然后打开淘宝上传照片，就可以快速地...
基本概念
数据建模 数据模型：是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架，数据资源平台支持逻辑模型和物理模型。逻辑模型：反映的是系统分析设计人员对数据存储...
新零售：杭州数云信息技术有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
Cost-based SQL诊断引擎
在阿里巴巴集团内部，我们已经对数据库实例上全部SQL进行实时采集和存储，借助阿里巴巴这个大平台业务的丰富性和SQL场景的丰富性，以特征化形式描述为抓手对线上海量全量SQL资源分析搜寻符合指定特征的真实案例，抽取测试案例所需的信息，...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
Logview诊断实践
pt 是 t 的一个分区列 数据膨胀 特征：Task的输出数据量比输入数据量大很多。比如1G的数据经过处理，变成了1T，在一个Instance下处理1T的数据，运行效率肯定会大大降低。作业运行完成后输入输出数据量体现在Task的 I/ORecord 和 I/OBytes ...
数据倾斜诊断
智能诊断数据倾斜功能在系统后台以库为维度进行诊断，但不包括系统库（postgres、template0、template1、adbpgadmin和aurora 5个系统库），建议您将业务数据放在新建库中，不要将数据放在上述5个系统库中，否则无法诊断数据。智能诊断数据...
访问列存数据
背景信息 Lindorm列存是面向海量半结构化、结构化数据设计的列格式分布式存储服务，适用于车联网、物联网、订单、日志等大规模存储场景，核心能力包括：计算分析 Lindorm计算引擎可以访问列存数据，完成海量数据的交互式分析和离线计算。...
X-Engine最佳实践
传统InnoDB引擎迁移到X-Engine后，依据数据特征不同，存储空间可降低至10%~50%；迁移到X-Engine之后，很多业务可以免除分库分表的需求，使用单库即可承载近10 TB的数据存储服务。作为中国领先的电子商务服务提供商，用户体量庞大，阿里内部...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
X-Engine简介
对性能影响比较大的Compaction过程做了大量优化：拆分数据存储粒度，利用数据更新热点较为集中的特征，尽可能的在合并过程中复用数据。精细化控制LSM的形状，减少I/O和计算代价，有效缓解了合并过程中的空间增大。同时使用更细粒度的访问...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
行业趋势与背景
随着x86技术日趋成熟，稳定性与小型机的差距不断缩小，另一方面，MySQL采用轻量化线程模型并具备高并发的支持能力，其生态逐步完善，因此新方案采用了基于Sharding技术+开源MySQL的分布式架构（TDDL+AliSQL），这代产品的特征是以解决扩展...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
TairVector性能白皮书
数据集名称 数据集介绍 向量维度 向量总数 查询数量 数据总量 距离类型 Sift-128-euclidean 该数据集是基于 Texmex 的数据集整理，使用SIFT算法得到的图片特征向量。128 1,000,000 10,000 488 MB L2 Gist-960-euclidean 该数据集是基于 ...
商品属性提取和多模搜索
使用这种方法插入数据时，需要在建表时制定 feature 列特征以获取用户自定义函数和URL列，类似上述 ExtractFrom='CLOTHES_FEATURE_EXTRACT_V1(image_url)'。insert into products(id,image_url)values(1,'https://example.com/img.jpg');...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
- 产品推荐
- 这些文档可能帮助您