如何开启高压缩引擎（X-Engine）
适用场景 InnoDB引擎占比（百分比）X-Engine占比（百分比）使用InnoDB引擎存储热数据，X-Engine引擎存储冷数据，且归档后的冷数据基本不会被访问。80 20 使用InnoDB引擎存储热数据，X-Engine引擎存储冷数据，且归档后的冷数据仍然会被更新...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
存储类型
宽表引擎、时序引擎、搜索引擎、文件引擎 说明 购买实例时，如果 存储类型 选择 本地SSD盘，仅支持选择 本盘节点规格 和数据引擎的节点数量。支持选购容量型存储。支持挂载云盘与本地SSD盘并池。支持副本异构。支持EC纠删码（1.5副本）。...
物联网设备数据上云存储
业务基于 TSDB 进行数据分析、监控和大数据分析。物联网平台规则引擎 物联网设备基于消息 Topic 进行通信，使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的...
深度学习框架及开通说明
在使用深度学习框架训练数据之前，需要上传训练的数据至阿里云对象存储OSS中，算法在运行时从指定的OSS目录中读取数据。算法在执行时访问同一区域下OSS中数据时不产生流量费用，访问其它地域的OSS会产生流量费用。说明 阿里云机器学习目前...
实时大盘
在左侧导航栏，单击 实时性能大盘 选择要查看的数据库引擎，查看该引擎下所有数据库实例主要指标的实时性能。单击 指标解释 查看各个指标的具体含义。说明 实时性能大盘页展示了 接入正常 的数据库实例的 实时性能状态，并且可以自动刷新。
X-Engine引擎常见问题
X-Engine是阿里巴巴自研的基于LSM-tree架构的存储引擎，提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree（Log-Structured Merge-Tree）层次化架构和Zstandard（ZSTD）压缩算法实现了更高的数据压缩率，对比使用...
使用DataWorks连接
DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建与管理数据源。通过DataWorks使用MaxCompute。数据分析。您可以通过如下方式进入...
引擎与数据权限管控概述
本文为您介绍DataWorks上引擎数据权限管控的实现方式。前提条件 已了解DataWorks工作空间的物理属性，详情请参见 必读：简单模式和标准模式的区别。已了解DataWorks各模块对应操作的引擎环境。详情请参见 引擎环境与DataWorks模块操作对应...
访问宽表引擎数据
本文介绍如何在Lindorm计算引擎中通过SQL访问Lindorm宽表引擎数据。准备工作 通过SQL访问Lindorm宽表引擎数据前，需要了解 使用须知。根据作业的提交方式，请确保已完成了相应的初始化工作：JDBC开发实践 JAR作业开发实践 Python作业开发...
招商数据
本章节主要讲述平台提供的招商数据查询服务，包括企业信息的查询、企业风险的监控、企业关系的查询，可以帮助租赁型园区通过大数据更好的进行招商。
轨迹服务
本文介绍针对车联网大数据场景，Lindorm Ganos时空引擎基于SQL接口实现的轨迹服务。背景信息 随着车联网行业的发展，汽车管理业务受到了更加广泛的关注。汽车云平台的业务系统每天都会接收到大量的车辆信息，例如车辆的实时位置和车辆的...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
X-Engine最佳实践
由于X-Engine分层存储的架构特点，该引擎特别适合某些业务负载特征的业务，本文介绍X-Engine的典型应用业务场景。X-Engine的分层存储架构特别适合具有如下业务负载特征的业务：数据访问具有鲜明的时间特征。例如大部分读取及修改操作集中在...
表管理
已绑定计算引擎并采集相关引擎数据。用于通过引擎元数据快速查找目标表。相关操作请参见下表。操作类型 相关文档 引擎绑定 绑定MaxCompute引擎 绑定Hologres计算引擎 绑定E-MapReduce计算引擎 绑定AnalyticDB for PostgreSQL计算引擎 绑定...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
执行引擎
执行引擎优势 Hologres的执行引擎（主要以HQE为主）是自研的执行引擎，通过与大数据领域最新技术结合，实现了对各种查询类型的高性能处理，主要具有如下优势。分布式执行 执行引擎是一个和存储计算分离架构配合的分布式执行模型。执行计划...
ALTER SYSTEM
宽表引擎数据文件的默认版本是2。说明 如果您在使用过程中遇到报错 Cell Tag is not supported since ldFileVersion is too small=2，可以将文件版本号修改为5来解决该问题。SLOW_QUERY_RECORD_ENABLE Boolean 宽表引擎 设置是否启用宽表...
通过流引擎实现地理围栏监控
写入数据，使用Kafka客户端写入数据到数据流表 input_stream，具体操作请参见 通过开源Kafka客户端写入Lindorm流引擎数据。完整的代码示例如下：import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients....
支持的数据库类型
数据安全中心DSC（Data Security ...PolarDB O引擎 非关系型数据库 MongoDB Redis 大数据 TableStore（仅政务云）MaxCompute AnalyticDB MySQL版 AnalyticDB PostgreSQL版 非结构化数据库 OSS 自建数据库 MySQL SQL Server PostgreSQL Oracle
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
数据存储目录结构说明
本章介绍文件引擎...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
城市视觉智能引擎
城市视觉智能引擎依托于阿里云分布式计算和存储平台，利用先进的视频图像、图形学处理技术和深度学习算法，建立城市级人工智能模型，实现对整个城市视觉数据(枪机、球机等摄像头数据以及遥感、卫星、无人机采集的图像数据)的接入、计算、...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
性能测试
与宽表引擎深度融合，覆盖大部分业务场景，减少解决方案的复杂度。写入时空数据耗时少。存储成本低于开源GeoMesa（HBase）和云数据库MongoDB分片集群，能够降低20%~50%的存储成本。在大部分查询场景中查询性能较高，性能高于开源GeoMesa...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
搜索索引介绍
云原生多模数据库 Lindorm 宽表引擎除了支持高性能原生二级索引，也支持一种新的索引类型，称为搜索索引（SearchIndex），搜索索引主要面向复杂的多维查询场景，能够覆盖分词、模糊查询、聚合分析、排序翻页等场景。本文介绍搜索索引的功能...
开通消息引擎
Lindorm消息引擎是Lindorm流引擎的底层存储，本文介绍如何开通消息引擎。说明 您可以通过Lindorm管理控制台创建Lindorm实例，购买消息引擎，或为已有的Lindorm实例开通消息引擎。创建实例时开通消息引擎 在 实例列表 中点击 创建。在...
CREATE DATABASE
差异说明 宽表引擎和时序引擎对不同语法要素的支持情况如下：语法要素 宽表引擎 时序引擎 数据库名（database_identifier）〇 〇 数据库属性（attribute_definition）✖️ 〇 使用说明 数据库名（database_identifier）数据库名需遵循以下...
查看连接地址
本文介绍通过 云原生多模数据库 Lindorm 控制台查看流引擎类的连接地址。前提条件 已开通 云原生多模数据库 Lindorm 的流引擎，具体操作请参见 开通流引擎。...相关文档 通过Kafka写入数据 通过开源Kafka客户端写入Lindorm流引擎数据
数据归档至Lindorm
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
创建数据脱敏场景
脱敏场景介绍 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作。同时，DataWorks...
微服务注册配置中心功能概览
✖ ✔ ✖ 监控引擎 监控实例引擎数据。✔ ✔ ✔ 管理服务 管理实例服务信息。✔ ✖ ✔ 实例升级 升级实例版本。✔ ✖ ✖ 管理命名空间 管理实例命名空间。✔ ✖ ✖ 配置管理 管理实例配置文件。✔ ✖ ✖ 报警管理 管理实例报警信息。✔ ✔ ...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
异地备份方案概览
PolarDB O引擎 数据库类型 推荐方案 方案说明 方案特点 PolarDB O引擎 推荐在DBS进行 逻辑备份。通过公网将数据库实例进行异地备份，详情请参见 自建数据库异地备份。数据库需开启公网。低成本。PostgreSQL 数据库类型 推荐方案 方案说明 ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
- 产品推荐
- 这些文档可能帮助您