通过开源Kafka客户端写入Lindorm消息引擎数据
Lindorm消息引擎完全兼容开源Kafka API，您可以通过Kafka API编写程序向Lindorm消息引擎写入数据，也可以通过开源的三方工具采集并写入Lindorm消息引擎数据，例如FluentD、Debezium等。本文介绍通过开源Kafka客户端连接Lindorm消息引擎并...
访问控制权限概述
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行等进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作权限...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
通过MySQL命令行连接并使用宽表引擎
Lindorm宽表引擎支持MySQL协议接入，您可以通过MySQL命令行工具连接Lindorm宽表引擎，并通过Lindorm SQL完成数据开发。本文提供详细的操作步骤，从工具下载到完成简单的数据读写，带您快速上手Lindorm宽表引擎。前提条件 宽表引擎为2.6.0及...
冷数据归档
本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
Serverless Spark概述
传统开源Spark集群版面临的挑战 Spark是大数据领域十分流行的引擎，面向数据湖场景，Spark本身内置的数据源连接器，可以很方便的扩展接口。Spark既支持使用SQL，又支持编写多种语言的DataFrame代码，兼具易用性和灵活性。Spark一站式的引擎...
免费体验PolarDB PostgreSQL一站式HTAP服务
背景 提供了一站式HTAP云服务，通过简单的SQL就可以将OLTP引擎的数据快速迁移到内置的OLAP存储和引擎上，内置的同步链路将会自动维持两份数据的一致性。常规的事务型查询可以继续在的OLTP引擎上进行，分析型业务可以被路由到OLAP引擎上，由...
免费体验PolarDB PostgreSQL一站式HTAP服务
背景 PolarDB PostgreSQL版（兼容Oracle）提供了一站式HTAP云服务，通过简单的SQL就可以将OLTP引擎的数据快速迁移到内置的OLAP存储和引擎上，内置的同步链路将会自动维持两份数据的一致性。常规的事务型查询可以继续在 PolarDB PostgreSQL...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
计算引擎审批策略
您可以自定义MaxCompute引擎的表、资源、...设置审批策略优先级 如同时存在MaxCompute项目维度审批策略和数据保护伞分级分类维度审批策略，则可能导致同一数据范围被两个审批流程所覆盖，此时您可以在计算引擎审批策略设置页码选择优先级。
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
逆向建模：物理表反向建模
建模流程 逆向建模主要用于将大数据引擎中已经存在的物理表反向建模至DataWorks的维度建模中，其建模流程如下：配置逆向建模策略。建模范围：创建模型前，您需要根据业务需求确定需要将哪些表逆向生成模型。该过程需确定表所在的工作空间、...
X-Engine引擎常见问题
X-Engine是阿里巴巴自研的基于LSM-tree架构的存储引擎，提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree（Log-Structured Merge-Tree）层次化架构和Zstandard（ZSTD）压缩算法实现了更高的数据压缩率，对比使用...
附录：空间级预设角色与MaxCompute引擎权限的映射关系
说明 DataWorks简单模式工作空间默认无法做到权限控制，表格中的 DataWorks开发环境/MaxCompute DEV引擎项目数据权限、DataWorks生产环境/MaxCompute PROD引擎项目数据权限 仅适用于标准模式工作空间。DataWorks工作空间模式介绍，请参见 ...
附录：DataWorks访问其他引擎产品的服务关联角色
在DataWorks上操作其他引擎时，您需先授权DataWorks可访问其他引擎（例如，MaxCompute、EMR等）的相关权限。授权成功后，系统会自动创建一个对应引擎服务关联角色。本文为您介绍在DataWorks上授权使用引擎类云产品时自动创建的角色及角色...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
实时大盘
在左侧导航栏，单击 实时性能大盘 选择要查看的数据库引擎，查看该引擎下所有数据库实例主要指标的实时性能。单击 指标解释 查看各个指标的具体含义。说明 实时性能大盘页展示了 接入正常 的数据库实例的 实时性能状态，并且可以自动刷新。
GetMetaDBInfo
调用GetMetaDBInfo获取引擎实例的基本元数据信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
表引擎
系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务，支持大数据量的快速写入并进行后续的数据处理，通用程度高且功能强大。该系列引擎的共同特点是支持数据副本、分区、数据采样等特性。MergeTree 用于插入极大量的数据...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
修改备份对象
更多详情，请参见 支持的数据库引擎与功能 或 各数据库引擎备份指导文档。操作步骤 在 DBS控制台，单击左侧导航栏的 备份计划，进入 备份计划列表 页面。单击备份计划 操作 列的 管理，进入 备份任务配置 页面。单击 基本信息 区域的 备份...
如何选择文件引擎规格
存储规格选择 当您选择Lindorm文件引擎 作为大数据、数据湖的底层存储时，推荐您选用 容量型云存储 类型。Lindorm存储以预留空间方式计费，需要确保LindormDFS的预留存储空间超出您的最大使用空间10%以上 说明 容量型存储在保持低成本的...
导入开源引擎任务
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>更多>迁移助手。在左侧导航栏，单击 任务上云>调度引擎作业导入...
参数化视图
本文为您介绍MaxCompute SQL引擎支持的参数化视图功能。功能介绍 MaxCompute传统的视图（VIEW）中，底层封装一段逻辑复杂的SQL脚本，调用者可以像读普通表一样调用视图，无需关心底层的实现。传统的视图实现了一定程度的封装与重用，因此被...
使用DataWorks连接
DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建与管理数据源。通过DataWorks使用MaxCompute。数据分析。您可以通过如下方式进入...
开启自治功能
说明 不同的数据库引擎支持的自治功能不同，详细信息请参见 支持的数据库引擎与功能。勾选 自动索引创建和删除，选择 SQL诊断并自动索引创建，DAS会对SQL进行自动诊断和优化，将索引自动创建到您的实例上。详情请参见 自动SQL优化。勾选 ...
管理集群
前提条件 支持的引擎：MySQL Redis MongoDB PostgreSQL RDS SQL Server PolarDB MySQL版 PolarDB PostgreSQL版 PolarDB PostgreSQL版（兼容Oracle）PolarDB-X 2.0 说明 其中MySQL、Redis、MongoDB、PostgreSQL包含阿里云数据库和自建数据库...
配置自动下载备份集
全量数据 支持如下数据库引擎：MySQL SQL Server MariaDB PostgreSQL Oracle MongoDB 说明 MongoDB的数据格式为 json，其余的数据格式均为 CSV。支持如下数据库引擎：MySQL SQL Server 说明 MySQL的数据为Xtrabackup产生的数据格式，并进行...
高压缩引擎（X-Engine）介绍
业务对单独的高压缩引擎（X-Engine）一般有如下诉求：具备大容量存储空间，支持业务持续将线上数据保存到高压缩引擎（X-Engine）中，而无需担心容量问题。与在线数据库系统使用相同的访问接口，如都支持MySQL协议等，确保应用程序端无需...
应用场景
强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。湖仓分析场景解决方案 ...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
MaxCompute近实时增全量一体化架构介绍
数据自动治理优化 存在的问题 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，尤其是桶数量较大的情况，从而引发存储访问压力大、成本高，数据读写I/O效率低下等问题。如果Update和...
应用场景
强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。湖仓分析场景解决方案 ...
企业版和标准版功能对比
支持 不支持 高压缩引擎（X-Engine）阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree层次化架构和Zstandard压缩算法实现了更高的数据压缩率，对比使用InnoDB...
- 产品推荐
- 这些文档可能帮助您