规格及选型
对于日志数据提供SLS+OSS成熟的解决方案，能够实现仓内的高效数据清洗。Serverless版本分析能力完备，具备更强的单点计算能力。案例六：新零售企业 用户为新零售企业，需要构建CDP平台，平台需要完备的多数据源汇入能力，并提供CDP下游人群...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
产品优势
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
产品简介
如下图所示，用户通过DLA Ganos可以加载OSS上的GeoTiff文件为RDD模型，然后写入Lindorm（HBase）等存储系统实现数据归档，同时也可以同时加载多个数据源（PolarDB或Lindorm）的时空数据，进行清洗转换，并通过机器学习等工具进行分析计算，...
什么是 DMS for Memcache
数据管理 DMS（Data Management Service）是阿里云研发的数据管理工具，支持 MySQL、SQL Server、PostgreSQL 等关系型数据库和 Redis、Memcache、MongoDB 等 NoSQL 数据库，可为您提供数据管理、对象管理、数据流转和实例管理等服务。...
SQL Server上云评估工具
背景信息 SQL Server上云评估工具Database Assessment Tool是一款用于对自建SQL Server数据库进行评估并给出上云评估报告的自动化工具，帮助您做好上云前的分析和准备工作。说明 关于MySQL、PostgreSQL、MariaDB的上云，请使用 DTS 工具。...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
什么是DataV-Card可视分析创作间
产品定义 DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用...
如何优化数据全量抽取
简介 数据抽取是指通过代码或者数据导出工具，从 PolarDB-X 中批量读取数据的操作。主要包括以下场景：通过数据导出工具将数据全量抽取到下游系统。PolarDB-X 支持多种数据导出工具，更多内容请参考 数据导入导出。在应用内处理数据或者...
连接集群
云原生数据仓库AnalyticDB MySQL版 支持通过DMS（Data Management Service）、MySQL客户端（Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J）、BI可视化工具、或者MySQL命令行工具连接 AnalyticDB MySQL版 集群。您也可以在...
常见问题
除了通过MaxCompute客户端导入数据，您也可以使用MaxCompute Studio、Tunnel SDK、数据集成、开源的Sqoop、Fluentd、Flume、Logstash等工具将数据导入到MaxCompute，更多信息请参见 数据上云工具。误删除表数据如何恢复？MaxCompute提供...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移到 云原生数据仓库AnalyticDB MySQL版 2.0集群。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase ...
场景：节点成环
场景示例：如下图场景，若上游节点A查询表C数据并产出表A数据，下游节点B对表A数据进行清洗写入表B，紧接着节点C对表B数据进行清洗又重新写回表C，这种情况下自动解析会生成环。解决方案：分析业务流程，去除成环依赖。如下图案例，如果...
产品架构
通过数据导入工具，云数据库 SelectDB 版 可从多种数据源（阿里云数据源、自建数据源）进行数据导入，提供稳定、高效、简单易用的数据集成方案。具体操作，请参见 数据导入工具。通过数据可视化集成，云数据库 SelectDB 版 可与MySQL协议...
产品优势
支持阿里云自主研发工具 云数据库MongoDB版进行数据迁移和同步时，不但可以通过控制台和MongoDB官方提供的工具实现，还可以通过阿里云自主研发的工具实现，具体如下：工具名称 说明 NimoShake 数据同步工具。您可以使用该工具将Amazon ...
DMS数据可视化
云数据库 SelectDB 版 采用MySQL网络连接协议，支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接 云数据库 SelectDB 版 实例。本文介绍如何通过DMS（Data Management Service）连接云数据库 SelectDB 版实例。背景信息 DMS...
连接集群
云数据库ClickHouse 支持通过DMS（Data Management Service）、ClickHouse命令行工具或其它客户端（DataGrip、DBeaver）连接 云数据库ClickHouse 集群。本文介绍如何通过DMS连接 云数据库ClickHouse 集群。背景信息 DMS是阿里云提供的图形...
通过DMS连接ClickHouse
背景信息 DMS是阿里云提供的图形化数据管理工具，可用于管理关系型数据库和NoSQL数据库，支持数据管理、SQL操作、数据方案（数据导入/导出、数据库克隆等）、性能与优化、安全审计等功能。您可以使用DMS实现易用的数据库管理，在线进行 云...
通过DMS连接云数据库SelectDB版实例
云数据库 SelectDB 版 采用MySQL网络连接协议，支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接 云数据库 SelectDB 版 实例。本文介绍如何通过DMS（Data Management Service）连接云数据库 SelectDB 版实例。背景信息 DMS...
基本概念
GeoTools是一个遵循OGC标准，用于处理地理空间数据的工具包，实现了OGC标准的数据模型和接口，很多地理工具都基于GeoTools开发，请参考：参考。Geometry 在OGC的定义中，Geometry用来表示一个空间对象，例如空间点对象、空间线对象、空间面...
保险行业解决方案与案例
PolarDB数据库迁移的总体方案，利用ADAM数据库评估工具和DTS在线数据迁移工具，显著低成本快速迁移。方案优势 选择多租户多系统的集群方式，以业务对技术平台的需求为划分标准，形成多集群多业务组，硬件资源得到更加合理的管理和使用。...
基本概念
Lindorm Ganos中所称的时空几何，其范畴包含以下几方面：时空几何对象 矢量数据，如点、线、面状要素 在矢量数据基础上结合时间属性，组成的时空数据（或时空轨迹数据）针对时空几何对象的相关操作，如时空关系判断 时空索引 Lindorm Ganos...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
迁移StarRocks数据至EMR Serverless StarRocks
本文将指导您如何使用StarRocks跨集群数据迁移工具，在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能，旨在为您提供一键式解决方案，实现源集群数据无缝迁移至目标集群，确保数据一致性...
产品更新动态
2023年4月 发布时间 2023-04-25 功能名称 功能描述 相关文档 支持数据更新——实现卡片内容的动态数据呈现 通过数据库连接方式的数据源，可以设置数据更新频率，手动/周期完成数据内容的更新，目前支持的可更新数据源是：MySQL、ADB MySQL...
基本概念
在矢量数据基础上结合时间属性，组成的时空数据（或时空轨迹数据）。针对时空几何对象的相关操作，如时空关系判断。时空索引 DLA Ganos能够提供优异的查询性能，其背后的机制在于在底层NoSQL数据库中基于空间填充曲线（Space Filling Curve...
我是安全管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
建模空间
当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时，面对跨多个工作空间的复杂数据体系，可以通过设计空间来共享一套数据建模工具，针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...
作业开发入门概述
DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据应用层，面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时，需要...
MMA概述
MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具。本文为您介绍MMA的使用概述，帮助您快速了解并使用MMA。功能简介 Hive数据迁移到MaxCompute。MaxCompute跨项目数据迁移。EMR+DLF+OSS迁移MaxCompute项目。数据迁移原理 ...
Global AWR用户指南
自动负载信息库AWR（Automatic Workload Repository）是数据库收集和分析性能数据的工具。通过AWR工具，可以从数据库的动态视图等统计信息中生成某个时间段的性能报告。概述 PolarDB PostgreSQL版 的Global AWR性能报告功能，在提供数据库...
加载矢量数据
本文介绍如何将矢量数据加载到Ganos中，建议您使用的工具为shp2pgsql、ogr2ogr或QGIS。准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令...
数据加工过程卡点校验
数据在数据仓库中进行清洗、加工、整合、算法和建模等一系列运算后，再通过同步工具输出到数据产品中进行消费。整个流程中，先有数据加工，才有数据仓库模型和数据仓库代码的建设。因此，保障数据加工过程中的质量是保障离线数据仓库整体...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
Global AWR用户指南
自动负载信息库AWR（Automatic Workload Repository）是数据库收集和分析性能数据的工具。通过AWR工具，可以从数据库的动态视图等统计信息中生成某个时间段的性能报告。概述 PolarDB PostgreSQL版（兼容Oracle）的Global AWR性能报告功能，...
加载矢量数据
本文介绍如何将矢量数据加载到Ganos中，建议您使用的工具为shp2pgsql、ogr2ogr或QGIS。准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令...
Global AWR用户指南
自动负载信息库AWR（Automatic Workload Repository）是数据库收集和分析性能数据的工具。通过AWR工具，可以从数据库的动态视图等统计信息中生成某个时间段的性能报告。概述 PolarDB PostgreSQL版（兼容Oracle）的Global AWR性能报告功能，...
加载矢量数据
本文介绍如何将矢量数据加载到Ganos中，建议您使用的工具为shp2pgsql、ogr2ogr或QGIS。准备工作 在加载矢量数据之前，请确保在数据库中已输入如下命令，来创建ganos_geometry扩展：CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令...
- 产品推荐
- 这些文档可能帮助您