2023年
MaxCompute停止服务规格转换操作指引 2023-07-19 新增使用命令行（odpscmd）连接 新说明 MaxCompute基于阿里云云命令行，为您提供云上客户端环境，您无需手动安装即可通过云命令行工具使用客户端（odpscmd）。本文为您介绍MaxCompute的云...
数据加工过程卡点校验
如果该数据库表发生扩容或者迁移等，数据集成工具感知不到，可能导致数据抽取错漏，而一旦错漏，会影响下游所有依赖该表的应用，因此建议业务数据库也需要有库表变更通知。关注操作工具的人员。操作工具只是一种辅助手段，操作工具的人员才...
概览
支持 表级迁移 通过DataWorks导入数据 数据集成（Data Integration）是阿里云对外提供的安全、低成本、稳定高效、弹性伸缩的数据同步平台，属于DataWorks的核心能力之一，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据...
应用场景
本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数仓、精准营销、商业智能报表、多源联合分析、交互式查询。实时数仓 该场景需要在一个平台上提供统一的在线查询和离线计算的能力，简化数据架构，降低开发和运维成本。...
数据集成概述
通过离线整库迁移构建同步任务 整库迁移是为了提升用户效率、降低用户使用成本的一种快捷工具，它可以快速把MySQL、Oracle、SQL Server数据库内所有表一并上传至MaxCompute，极大减少您初始化上云的配置、迁移成本。数据源的配置，详情请...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
配置Elasticsearch输出
使用限制 DataWorks平台目前仅支持配置阿里云Elasticsearch5.x、6.x、7.x版本数据源，不支持配置自建Elasticsearch数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据...
快速入门
如果您初次使用阿里云关系型数据库RDS，请参见快速入门系列文档，帮助您快速上手RDS。MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍：云数据库RDS MySQL MySQL是全球受...
组件使用常见问题
小工具使用方法请参见：DataV GeoAtlas地理小工具。使用地图瓦片组件时的常见问题 本节主要介绍DataV地图瓦片相关的常见问题及相应的解决方法。在局域网中，如何调用地图瓦片？在局域网中您可以将在线瓦片缓存在您的Web服务器上，按照标准...
配置并管理实时同步任务
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。创建实时同步任务 创建整库实时同步节点。配置...
智能设计（ArtLab）
ArtLab 介绍 ArtLab是人工智能平台PAI推出的为设计师提供自动化设计的工具，是面向设计场景的一站式AIGC设计平台，打通了数据集管理与模型训练、AI绘图与在线推理的全场景链路，集成了主流的文生图类型的AIGC大模型，提供批量自动化图片...
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
什么是数据管理DMS
数据管理DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理平台。DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型...
高效数据治理实施指南
以某公司数据平台团队的数据治理负责人为例，其负责本团队的数据成本管理工作，同时也是DataWorks所有数仓工作空间的管理员，日常需要进行整个数据团队的运维管理工作和成本管理工作，对数据治理相关工作进行确定和推进。目前在年初阶段，...
简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
什么是基因分析平台？
平台支持GA4GH社区开放标准，集成丰富的流程工具和公共数据集，帮助用户安全高效、敏捷弹性地处理任意规模基因数据。相比于其他用户方案，基因分析平台提供完整的Serverless基因计算服务，简单易用、经济高效、灵活可靠、且超大规模。结合...
Doris概述
统一数仓构建：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。基于Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、Hbase、Phoenix组成的旧架构，架构大大简化。数据湖联邦查询：通过外表的方式联邦分析位于Hive、...
创建CDH Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
API概览
本产品（大数据开发治理平台 DataWorks/2020-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
SSB性能测试说明
场景说明 本测试场景中SSB的生成工具中使用SF（scale factor）控制生成数据量的大小，1SF对应1 GB。说明 以上数据量仅针对原始数据的数据量，不包括索引等空间占用，因此在准备环境时，您需要预留更多的空间。准备工作 您需要准备OLAP查询...
产品优势
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
测试数据通信
本文介绍如何测试DTU代替设备上报数据到物联网平台和接收物联网平台下发的数据。测试上报数据 打开串口调试工具。本示例中使用sscom 4.2测试版。说明 在本地电脑上使用串口调试工具模拟收发数据前，请务必确保DTU配置工具已经关闭。设置...
什么是数据库备份DBS
数据库备份DBS（Database Backup）是阿里云提供的低成本、高可靠的云原生数据库备份平台。DBS支持备份恢复MySQL、SQL Server、PostgreSQL、Oracle等近10种数据源，同时支持阿里云云数据库、阿里云ECS数据库、本地数据中心、其他云厂商等...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
DataHub通过数据集成批量导入数据
本文以Stream同步数据至DataHub的脚本模式为例，为您介绍如何通过数据集成导入离线DataHub数据。前提条件 准备阿里云账号，并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
选型配置说明
选择合适的集群规格是CDP产品使用的第一步，CDP的选型配置需要考虑的主要因素包括：使用场景，估算数据量，服务可靠性以及预算等。 基础版CDP集群有主节点（Master）、工具节点（Utility）和核心实例（Core）三种实例类型。专业版CDP集群...
SAP HANA节点
背景信息 SAP HANA是一个高性能的内存数据库和应用平台，结合了数据库、数据处理和应用平台功能，以提供企业级内存计算的能力。更多介绍请参见 SAP HANA。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体...
产品概述
它提供简单、直观、易于使用的数据准备、洞察发现和可视化分析工具，让用户可以通过具象、生动、有趣的方式快速理解数据。让更多用户能便捷高效地利用数据可视化技术获得信息表达的优势和乐趣、获得全新数据互动体验。具有自动化的数据洞察...
快速入门
城市三维场景构建器组件提升了组件的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用城市三维场景构建...
什么是物联网平台
您可使用物联网平台的数据服务，对物联网设备进行数据接入、数据解析、数据存储、数据指标、分析洞察数据智能、数据API和数据应用的配置，挖掘物联网设备的数据价值。具体操作，请参见 数据服务。功能概览 实例管理 面向物联网个人开发者和...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
- 产品推荐
- 这些文档可能帮助您