配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
通过SQL导入向量数据
在进行向量分析前，您需要在数据库中导入数据，本教程将指导您如何通过SQL导入数据至 AnalyticDB PostgreSQL版 实例。前提条件 已开启向量检索引擎功能，目前已支持如下...相关文档 使用\COPY命令导入本地数据 Java 向量检索 下一步 向量分析
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
MetaQ数据源
支持的版本 MetaQ Reader通过消息队列服务的Java SDK订阅MetaQ中的实时消息数据，使用的Java SDK版本如下所示。groupId>...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
Hudi数据源
本文介绍 云数据库 SelectDB 版 与Hudi数据源进行对接使用的流程，帮助您对Hudi数据源进行联邦分析。...FillBlockTime：Java数据拷贝为C++数据的时间。GetRecordReaderTime：调用Java SDK并创建Hudi Record Reader的时间。
Java API访问
云数据库HBase增强版全文索引服务支持多语言访问，并且完全兼容开源Apache Solr API，本文介绍如何使用Solr Java API访问云数据库HBase增强版全文索引服务。使用Solr Java API访问云数据库HBase增强版全文索引服务的操作和使用Solr Java ...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
Java SDK Demo
演示如何使用Java SDK操作数据湖分析的spark作业*@author aliyun*/public class Demo {/*提交一个SQL作业到数据湖分析Serverless Spark*@param virtualClusterName 数据湖分析虚拟集群名称*@param sql sql内容*@return Spark JobId,提交...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
快速上手可观测链路 OpenTelemetry 版
使用OpenTelemetry Java Agent自动埋点 本文以OpenTelemetry Java Agent上报Java应用数据为例，介绍如何上报数据。OpenTelemetry Java Agent 提供了无侵入的接入方式，支持上百种Java框架自动上传Trace数据，详细的Java框架列表，请参见 ...
快速上手可观测链路 OpenTelemetry 版
使用OpenTelemetry Java Agent自动埋点 本文以OpenTelemetry Java Agent上报Java应用数据为例，介绍如何上报数据。OpenTelemetry Java Agent 提供了无侵入的接入方式，支持上百种Java框架自动上传Trace数据，详细的Java框架列表，请参见 ...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
如何使用Java SDK快速删除存储空间及其中的历史版本
本文是基于OSS的Java SDK来实现直接完全删除存储空间，您可以直接通过代码进行删除，也可以直接运行JAR包来删除存储空间，同时该代码也实现了只删除旧版本数据保留最新版本数据的功能。详细信息 说明 如果您对实例或数据有修改、变更等风险...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
连接方式概述
使用 Java 驱动连接 OceanBase 数据库的具体操作示例请参见 Java 驱动连接 OceanBase 数据库。C 驱动（OceanBase Connector/C）OceanBase Connector/C 是一个基于 C/C++ 的 OceanBase 客户端开发组件，支持 C API Lib 库。OceanBase ...
UDF示例：复杂数据类型
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
EncDB SDK
如果您希望使用全密态功能对数据库表中的被保护数据列进行加密，并且使用Java应用程序访问数据库，可以使用全密态客户端Java SDK模块EncDB SDK接入全密态数据库，接入操作便捷，能够降低使用全密态功能的成本。本文介绍如何通过EncDB SDK...
示例代码
无 访问云原生大数据计算服务 MaxCompute[python3]无 无 访问云原生大数据计算服务 MaxCompute[java11]向消息队列 Kafka 投递消息[node.js14]向消息队列 Kafka 投递消息[python3]无 向消息队列 Kafka 投递消息[go1]向消息队列 Kafka 投递...
- 产品推荐
- 这些文档可能帮助您