Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
UDF开发（Java）
当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化...
通过Mongo Shell连接MongoDB副本集实例
Mongo Shell是MongoDB自带的数据库管理工具，您可以下载Mongo Shell工具并安装至客户端（本地服务器或ECS服务器），用于连接云数据库MongoDB副本集实例。前提条件 已创建云数据库MongoDB副本集实例，创建方法请参见 创建副本集实例。背景...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
通过DataX导入RDS数据
本文主要介绍如何使用阿里巴巴的开源工具DataX实现从关系型数据库到时序引擎的数据迁移。背景信息 DataX是阿里巴巴集团内被广泛使用的离线数据同步工具，实现包括MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive、ADS、HBase、...
MaxCompute UDF概述
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
UDAF概述
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
连接方式概述
OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立的服务器进程通过网络连接与数据库服务器 OBServer 节点进行通信。客户端程序在编译时会引用 C API 头文件，同时可以连接到 C API 库文件。说明 LibOBClient 生成的 so ...
什么是云数据库MongoDB版
MongoDB的数据结构 MongoDB是面向文档的NoSQL（非关系型）数据库，它的数据结构由字段（Field）和值（Value）组成，类似于JSON对象，示例如下：{ name:"张三",sex:"男性",age:30 } MongoDB的存储结构 MongoDB的存储结构区别于传统的关系型...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
AliSQL功能概览
不支持 支持 不支持 性能 Fast Query Cache 针对原生MySQL Query Cache的不足，阿里云进行重新设计和全新实现，推出Fast Query Cache，能够有效提高数据库查询性能。不支持 支持 不支持 Binlog in Redo 在事务提交时将Binlog内容同步写入到...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
使用tcpdump抓包分析网络问题
ECI支持一键开启tcpdump功能，用于捕获和解析网络数据包，帮助您监视和分析网络流量。本文介绍如何开启tcpdump，以便在容器出现网络异常时，抓取网络报文，分析定位问题。背景信息 容器出现网络异常时，您可能需要抓取网络报文来分析定位...
迁移StarRocks数据至EMR Serverless StarRocks
需要购买单独的ECS实例部署迁移工具，且部署迁移工具的ECS实例和源集群、目标集群的网络互通，具体网络交互和使用端口如下图所示。在ECS控制台创建实例，详情请参见 自定义购买实例。使用限制 仅支持源集群为存算一体集群，目标集群类型无...
创建RDS MySQL数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
新增和使用独享调度资源组
或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时，您还需了解不同场景下，独享调度资源组与数据源间或引擎间的网络连通方案和白名单注意事项，详情请参见 独享调度资源组。说明 如果您暂无连通数据库实例的需求，只是为了缓解因...
合规&认证
安全合规认证 在帮助各行各业的企业实现数字化的过程中，瓴羊已经建立齐了一套科学有效的数据安全保护体系。瓴羊积极参与监管以及行业协会牵头的数据安全与合规标准，向行业输出瓴羊的最佳合规实践，得到了监管以及行业的认可与好评。目前...
权限管理与规范化数据开发
进入 数据建模 阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案，我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
通过DataX导入数据
概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。您可以通过DataX服务读取上游数据，然后由DataX ...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
完成数据订阅任务后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息。本文介绍通过SDK示例代码消费分布式订阅数据，支持的数据源包括PolarDB-X 1.0和DMS LogicDB。前提条件 已安装JDK 1.8版本。已安装IntelliJ IDEA软件。注意事项 ...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
完成数据订阅任务后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息。本文介绍通过SDK示例代码消费分布式订阅数据，支持的数据源包括PolarDB-X 1.0和DMS LogicDB。前提条件 已安装JDK 1.8版本。已安装IntelliJ IDEA软件。注意事项 ...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
使用DTS创建数据订阅
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
UDF开发（Python3）
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
排查订阅任务问题
本文介绍如何在订阅客户端使用DTS定制工具包排查新版订阅任务问题。背景信息 由于订阅任务没有使用SDK进行消费订阅数据、对SDK进行过较多修改以及订阅客户端运行环境的不同，导致排查订阅任务问题比较困难。在此提供一个工具包，在客户端的...
创建RDS PostgreSQL数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
SSB性能测试说明
说明 本文的SSB的实现基于SSB的基准测试，并不能与已发布的SSB基准测试结果相比较。场景说明 本测试场景中SSB的生成工具中使用SF（scale factor）控制生成数据量的大小，1SF对应1 GB。说明 以上数据量仅针对原始数据的数据量，不包括索引等...
- 产品推荐
- 这些文档可能帮助您