通过DataWorks数据集成迁移日志数据至MaxCompute
本文为您介绍如何通过数据集成功能同步LogHub数据至MaxCompute。背景信息 日志服务支持以下数据同步场景：跨地域的LogHub与MaxCompute等数据源的数据同步。不同阿里云账号下的LogHub与MaxCompute等数据源间的数据同步。同一阿里云账号下的...
常见问题
如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...
简单上传示例
Tunnel SDK是MaxCompute提供的离线批量数据通道服务，主要提供大批量离线数据上传和下载。典型的表数据上传流程 创建表，如果是分区表先创建分区。创建TableTunnel。创建UploadSession。创建RecordWriter，写入Record。提交上传。示例 ...
基于GitHub公开事件数据集的离线实时一体化实践
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，可以直接通过外表的方式读取并解析OSS中的半结构化数据，将高价值可用数据集成至MaxCompute内部存储，然后结合DataWorks进行数据开发，生成离线数据...
Hologres外部表
当您需要访问存储在Hologres中的数据时，MaxCompute支持使用外部表访问Hologres数据源数据，无需导入数据至MaxCompute中，实现快速查询Hologres数据。本文为您介绍如何在外部表建表语句中指定Hologres数据源、STS认证信息或打开双签名开关...
迁移服务（MMA）
如果数据量较大，可能需要几分钟才能完成更新。创建迁移计划 选择目标数据源，查看数据源下待迁移的数据库列表。您可以按照实际迁移需求，选择整库迁移或部分迁移。整库迁移 单击待迁移数据库列表 操作 列中的 整库迁移。部分迁移 单击待...
Tablestore外部表
背景信息 表格存储（Tablestore）是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储和实时访问，详情请参见 Tablestore文档。您可以通过DataWorks配合MaxCompute对外部表进行可视化的创建、搜索、查询、配置...
基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型...部分返回结果如下：后续操作 MaxCompute已与阿里云人工智能平台PAI成功对接，您可基于PAI Desinger进行更多LLM算子的开发和使用，LLM算子详情请参见 组件参考：大模型数据处理。
SDK接口
本文为您介绍流式数据通道SDK接口的使用方法。使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...
Elasticsearch数据迁移至MaxCompute
本文为您介绍如何通过DataWorks数据同步功能，迁移阿里云Elasticsearch集群上的数据至MaxCompute。前提条件 已开通MaxCompute服务。开通指导，详情请参见 开通MaxCompute。已开通DataWorks服务。开通指导，详情请参见 开通DataWorks服务。...
Amazon Redshift数据迁移至MaxCompute
登录 阿里云在线迁移服务管理控制台，创建在线迁移数据地址。在左侧导航栏，选择 在线迁移服务>地址管理，单击新建地址。在 管理数据地址 页面，单击 创建数据地址，配置数据源及目标地址相关参数，单击 确定。参数详情请参见 迁移实施。...
新建集群
23.6 样例测试数据 云数据库ClickHouse 企业版集群支持导入的样例测试数据分别为cell towers、NewYorkTaxi data,和UK Prorperty Price Paid。默认选择 不导入任何样例数据。不导入任何样例数据 计算单元（CCU）最大值 集群计算单元（CCU）...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移
将数据复制到目标表之后，建议您执行数据验证以确保复制后数据的准确性，例如执行 select 命令查看表的数据、执行 desc 命令查看表的大小。使用限制 目标表与源表的Schema需要兼容。支持分区表和非分区表，支持对聚簇表使用 clone table ...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容...生态 开源大数据生态Hadoop/Spark等、阿里云数据生态 开源大数据生态Hadoop/Spark等 易用性 免运维，维护简单 有状态服务，维护较复杂
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
基于DLF数据入湖的MaxCompute湖仓一体实践
由于DLF中数据入湖功能已经停止更新，本文采用DataWorks数据集成的入湖方式，以MySQL数据入湖为例，为您介绍在MaxCompute中如何创建外部项目，并查询DLF中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3...
数据加工过程卡点校验
离线系统卡点校验 MaxCompute将离线业务系统生成的数据，通过同步工具（DataWorks的数据集成或阿里云DTS）进入数据仓库系统（MaxCompute）。数据在数据仓库中进行清洗、加工、整合、算法和建模等一系列运算后，再通过同步工具输出到数据...
购买与使用独享数据传输服务资源组
当您在MaxCompute中需要对大规模数据进行传输且对传输稳定性和延迟有要求时，您可以使用独享数据传输服务资源组。独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、...
租户级别Information Schema
元数据及作业历史数据仅保存在 SYSTEM_CATALOG.INFORMATION_SCHEMA 下，如果需要对历史数据进行快照备份或获得超过14天的作业历史，您可以定期将 SYSTEM_CATALOG.INFORMATION_SCHEMA 中的数据备份到指定项目。查询示例 查询元数据信息示例...
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
数据类型版本说明
说明 阿里云其他产品或组件对数据类型的支持情况，请参见 组件与数据类型的兼容。选择数据类型版本 项目选择的数据类型版本影响范围如下：表的数据类型。DML语句、内置函数的行为。与MaxCompute密切相关的开发组件。因此，在选择项目的数据...
Elasticsearch数据迁移至MaxCompute
本文为您介绍如何通过DataWorks数据同步功能，迁移阿里云Elasticsearch集群上的数据至MaxCompute。前提条件 已开通MaxCompute服务。开通指导，详情请参见 开通MaxCompute和DataWorks。已开通DataWorks服务。开通指导，详情请参见 开通...
关于我们
阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践，所以她的提出是基于解决实际的数据安全问题和大数据场景需要，这就决定了她的基因里面就是贴身于实际产业应用。目前团队中拥有全职博士4名，研究型密码学博士实习...
MaxCompute数据开发规范
本文为您介绍MaxCompute数据开发规范，包括项目空间、表、视图、工作流节点和编码规范。在进行数据开发前，请做好数据仓库研发流程的阶段规划，了解各种角色及其职责，具体内容请参见 数据仓库研发规范概述。项目空间管理规范 关于项目划分...
Lindorm外部表（云原生多模数据库）
背景信息 Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理，并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口是为...
云数据库 ClickHouse
云数据库ClickHouse是开源列式数据库ClickHouse的云上托管服务，数据库内核完全兼容开源社区版本。阿里云提供了一套企业级数据库管理平台，增强了数据安全、集群动态扩容、监控运维等企业级功能，与云上其他数据产品打通，可以便捷地构建云...
数据输入输出
MaxFrame支持直连MaxCompute，允许对MaxCompute中的数据进行高效直接读写操作，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高了执行效率。MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算...
数据传输独享资源费用（包年包月）
数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，保障了数据传输资源的独享性，并提高了数据传输的稳定性。本文为您介绍MaxCompute的数据传输服务（包年包月）资源组的计费规则。背景信息 ...
迁移示例
本文为您介绍MaxCompute相关迁移案例，为您执行数据迁移操作提供指导。本文档已为您提供相关数据迁移最佳实践，请参见 数据迁移。
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案是否合适业务需求以及如何改进。例如，针对每一个数据质量事件，必须分析原因和处理过程，制定后续同类事件预防...
数仓版（3.0）产品定价
包年包月集群的存储价格 计费项 按量付费价格 每月费用估算 ② 热存储数据 云盘等级PL0 0.0011元/GB/小时 0.792元/GB/月 云盘等级PL1 0.0028元/GB/小时 2.016元/GB/月 云盘等级PL2 0.0056元/GB/小时 4.032元/GB/月 云盘等级PL3 0.0112元/...
云数据库 SelectDB 版
云数据库SelectDB版是新一代实时数据仓库SelectDB在阿里云上的全托管服务，您可以在阿里云上便捷地购买SelectDB数仓服务，满足海量数据分析需求。
云数据传输
云数据传输（Cloud Data Transfer，简称CDT）是云上流量统一计费的功能实体。CDT可以对云上互联网公网流量和专线私网流量进行统一汇总并统一计费。解决之前流量的用量数据和费用数据分散在多款云产品，导致用户在购买和运维对账时出现的...
数据传输费用（按时计费）
类型 公共云售价 金融云售价 说明 按时传输数据服务 0.16元/Slot/小时 0.304元/Slot/小时 如果一天使用时长超过16小时，建议直接购买包年包月预留并发数。相关文档 如果您希望了解MaxCompute中数据下载的计费规则，请参见 数据传输费用...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
MaxCompute、DLF和OSS是阿里云提供的一体化解决方案，可以实现数据湖查询和湖数据入仓。通过配置DLF，将数据从OSS导入到MaxCompute中，并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理，并保证数据的可靠性和安全性。...
总体流程
快速入门介绍购买并使用 云数据库ClickHouse 集群的完整过程，旨在帮助新用户快速使用 云数据库ClickHouse。在本教程中，您将进行以下操作。准备权限：RAM用户按照本教程使用 云数据库ClickHouse 前，需要具备AliyunClickHouseFullAccess和...
- 产品推荐
- 这些文档可能帮助您