创建PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
无锁结构变更方案对比
网络流量 触发器在数据库的内部处理数据。非触发器需要订阅事件流以及回写数据，这将使用到主机间的流量，占用MySQL的进程流量。代码的复杂性依赖缜密的算法逻辑，完善的测试用例集来保证健壮性和稳定性。但是相比之下，它带来了更多的好处...
发现并处理Redis的大Key和热Key
大Key和热Key产生的原因 未正确使用Redis、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：大key 在不适用的场景下使用Redis，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；...
创建Microsoft SQL Server数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
什么是EMR Serverless Spark
EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless ...
创建MySQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
产品优势
Tair与自建Redis对比 对比项 云原生内存数据库Tair版 自建Redis 安全防护 事前防护：VPC网络隔离 白名单控制访问 自定义账号与权限 事中保护：TLS加密 数据加密TDE 事后审计：审计日志 事前防护：自建网络安全体系：成本高，难度大。...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
PolarDB Serverless实现了哪些突破
第一代云原生数据库的困境 早期的云上数据库，大部分是以ECS中的自建数据库和云厂商托管的数据库RDS的形态存在的，到目前为止还是有非常大的用户量。这些云上数据库架构使用的是传统数据库的架构，只是运行在云的基础设施上，数据库本身并...
PolarDB HTAP实时数据分析技术解密
其在大数据量上运行复杂查询的性能可以与Oracle、SQL Server等业界商用数据库系统处在同一水平。In-Memory Column Index的技术架构 行列混合的优化器 PolarDB原生有一套面向行存的优化器组件。在引擎层增加列存功能后，此部分需要进行功能...
创建AnalyticDB for PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
通过DataWorks导入数据
已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备...
产品优势
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
MySQL分库分表同步至Hologres（方案2.0）
步骤二：网络与资源配置 源端选择环境准备步骤中已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认Hologres数据源。并测试连通性。说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端...
创建PolarDB-X数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
PyODPS概述
调用persist接口会将产生的数据直接写到另一张MaxCompute表中，所有的数据产生与消费都在 MaxCompute集群完成，也节约了本地的网络与内存。在这个例子中也使用到了三方包，MaxCompute是支持自定义函数中使用三方包的（示例中的 jieba），...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
什么是图数据库GDB?
例如，在一个典型的社交网络中，常常会存在“谁认识谁，上过什么学校，常住什么地方，喜欢什么餐馆”之类的查询，传统关系型数据库对于超过3张表关联的查询十分低效难以胜任，但图数据库可轻松应对社交网络的各种复杂存储和查询场景。...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
创建Aliyun HBase数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 仅支持 超级管理员、...
创建Redis数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
创建Elasticsearch数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
关系网络
图表样式 关系网络是以点线的形式表现事物之间关系的组件，支持自定义点、线和标签的样式，支持多系列的节点配置，能够以点线的形式在数据看板中展示复杂的网络关系。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
企业版和标准版功能对比
PolarDB MySQL版 企业版和标准版在功能上有很多差异，可分为集群管理、弹性管理、高性能、备份与恢复、高可用性、高安全、连接管理、高性价比、监控与优化、DB for AI、数据迁移&同步等11个类别。本文为您介绍这两个版本的功能区别，帮助您...
离线同步任务调优
数据同步速度的影响因素 数据同步速度受来源与目标端数据库环境及同步任务配置等因素影响，其中源端和目的端数据库的性能、负载和网络情况主要由您自己关注并进行调优。影响数据同步速度的因素如下：因素 说明 来源端数据源 数据库的性能：...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
创建MongoDB数据源
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。操作步骤 请参参见 数据源管理入口，进入...
源库连接性检查
网络互通问题 经过上述排查后仍然无法通过源库连接性检查，可能是DTS服务器与源数据库网络互通问题。您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。
技术架构
闭环的生态工具：数据管理DMS，基于阿里巴巴集团十余年的数据库服务平台的云版本，提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的Web数据库管理终端，可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库...
创建AnalyticDB for MySQL 2.0数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
实例介绍
背景信息 PolarDB-X 1.0计算资源只读实例 与主实例可以共享同一份数据，通过物理资源隔离的方式，缓解主实例的负载压力，降低业务架构的链路复杂度，无需进行额外的数据同步操作，节省运维及预算成本。可直接在RDS只读实例或RDS主实例上...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查...网络互通问题 经过上述排查后仍然无法通过目标数据库连接性检查，可能是DTS服务器与目标数据库网络互通问题。
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
RDS术语
D DAS Database Autonomy Service，数据库自治服务，是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、安全...
新建AnalyticDB for MySQL 3.0数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
- 产品推荐
- 这些文档可能帮助您