大数据AI公共数据集分析
MaxCompute：适用于数据分析场景的企业级SaaS模式云数据仓库，为海量数据提供丰富的计算和存储能力。所需费用 DataWorks：产品版本：阿里云为您提供了免费的基础版DataWorks。增强分析：阿里云为您提供了免费的使用额度，超出额度后将收取...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
采集数据
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标 将MySQL存储的用户基本信息及OSS存储的网站访问日志，通过数据集成服务将数据同步至...
将云消息队列 Kafka 版的数据迁移至MaxCompute
背景信息 大数据计算服务MaxCompute（原ODPS）是一种大数据计算服务，能提供快速、完全托管免运维的EB级云数据仓库解决方案。DataWorks基于MaxCompute计算和存储，提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。在...
RDS迁移至MaxCompute实现动态分区
详细的SQL语句介绍请参见 阿里云大数据利器MaxCompute学习之-分区表的使用。将三个节点配置成一个工作流，按顺序执行。查看执行过程。您可以重点观察最后一个节点的动态分区过程。运行结果验证。在MaxCompute客户端执行如下命令，查看数据...
将Prometheus数据投递至大数据计算服务MaxCompute
100 MB 单击 添加目标，选择 目标类型 为 云原生大数据计算服务 MaxCompute，请按照表单所需填写其余信息，然后单击 确定。配置完成后，在 任务编辑 页面，单击 确定，然后单击 保存 创建投递任务。步骤三：验证数据被投递至MaxCompute 在...
将Prometheus数据投递至大数据计算服务MaxCompute
100 MB 单击 添加目标，选择 目标类型 为 云原生大数据计算服务 MaxCompute，请按照表单所需填写其余信息，然后单击 确定。配置完成后，在 任务编辑 页面，单击 确定，然后单击 保存 创建投递任务。步骤三：验证数据被投递至MaxCompute 在...
IoT数据自动化同步至云端解决方案
物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。...
RDS搭配大数据计算服务实现大规模数据计算
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...
云数据库Memcache版适合存储多大的数据？
在云数据库Memcache版中，Key支持的最大长度为250字节（Byte），Key+Value的最大长度是4,194,291字节。如果Key+Value的长度大于等于4,194,292字节会提示错误：object too large for cache。使用过大的对象会占用较大带宽，导致QPS下降，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
快速体验
原始数据存储：云数据库 RDS MySQL（必选），本实验中DataWorks为您提供了阿里云RDS MySQL用于测试，包含了测试数据，无需您自己开通。数据传输：大数据开发治理平台 DataWorks数据集成（必选），基础版DataWorks已包含数据集成功能。大...
查看云虚拟主机MySQL数据库中表的大小
当您的云虚拟主机MySQL数据库剩余可用空间较小时，您可以查看数据库中所有表的大小，并删除有异常的或者无用的表，以便享有更多的可用空间。本文为您介绍查看主机MySQL数据库中表大小的方法。操作步骤 登录待查看表大小的数据库。具体操作...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
构造测试数据
c|+-+|1|2|+-+构造大表 您需要先构造小表，然后通过 mapJoin 对小表使用笛卡尔积方式基于随机值或有序值构造大量数据。数据种类从本质上可以分为如下两种：序列值：有序的数列，使用 ROW_NUMBER 函数构造，该类型数据可以定义为主键。枚举...
数据治理能力解读
以下为您系列讲解阿里云数据治理能力解读。课程视频列表 课程简介 课程内容：数据治理的产品介绍。主要产品：DataWorks 课程时长：25分钟 课程内容：DataWorks数据治理能力的最佳实践。主要产品：DataWorks、MaxCompute 课程时长：19分钟
公开数据集概述
国家统计数据集 national_data TPC性能数据 TPC-DS TPC-DS是一个面向决策支持的基准，它对决策支持系统的几个普遍适用的方面进行建模，包括查询和数据维护等，使大数据系统等新兴技术能够执行基准测试。TPC-DS 10GB性能测试集 TPC-DS 100GB...
数据治理能力解读
以下为您系列讲解阿里云数据治理能力解读。课程视频列表 课程简介 课程内容：数据治理的产品介绍。主要产品：DataWorks 课程时长：25分钟 课程内容：DataWorks数据治理能力的最佳实践。主要产品：DataWorks、MaxCompute 课程时长：19分钟
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
如何查询云数据库Redis中过大的Key
您可通过以下方式查询 云数据库Redis版 中的大Key：在Redis控制台查看大Key（推荐），对性能几乎无影响，具体操作请参见 实时Top Key统计。对历史备份数据进行分析，找出大Key、热Key等，对线上服务无影响，具体操作请参见 离线全量key分析...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
网易有数BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接MaxCompute项目，并进行可视化数据分析。背景信息 网易有数BI是新一代敏捷数据可视化分析平台，是包含...
数据引入层（ODS）
数据同步加载与处理 ODS的数据需要由各数据源系统同步到MaxCompute，才能用于进一步的数据开发。本教程建议您使用DataWorks数据集成功能完成数据同步，详情请参见 概述。在使用数据集成的过程中，建议您遵循以下规范：一个系统的源表只允许...
MaxCompute在电商场景中如何进行漏斗模型分析
通过Quick BI创建网站用户分析画像的仪表板，实现该数据表的可视化，详情请参见 云数据源MaxCompute 和 漏斗图。重要 在Quick BI中创建数据集时，您需要先判断MaxCompute项目是否开启了三层模型，再根据对应的方式创建数据集：可在...
数据传输费用（公网下载）
承载数据的HTTP Body使用ProtoBuffer编码，因此一般比数据原始容量要小，但是比压缩后存储在MaxCompute上的数据量要大。说明 跨云通过专线接入阿里云VPC网络，下载时不收取费用。各地域及不同网络连接方式下的Endpoint信息，详情请参见 ...
使用MaxCompute控制台（离线）
阿里云对象存储OSS：仅支持上传CSV格式的文件数据，数据量最大支持5 GB，且该数据所在的Bucket必须与当前MaxCompute项目位于同一地域。不支持将数据上传到具有自定义Schema的表中（包括已有表和新建表），自定义Schema相关信息请参见 ...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
Spark Connector
为了更好地融入大数据生态，MaxCompute开放了存储组件（Storage API），通过调用Storage API直接访问MaxCompute底层存储，有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
查看云虚拟主机SQL Server数据库中表的大小
当您的云虚拟主机SQL Server数据库剩余可用空间较小时，您可以查看数据库中所有表的大小，并删除有异常的或者无用的表，以便享有更多的可用空间。本文为您介绍查看云虚拟主机SQL Server数据库中表的大小的方法。操作步骤 登录待查看表大小...
云数据库 RDS MySQL 版的decimal字段过大导致查询不...
问题描述 云数据库 RDS MySQL 版的 decimal 字段过大，导致查询不准确。问题原因 云数据库 RDS MySQL 版的 decimal 字段过大查询不准的情况，这是MySQL数据库的BUG引起。解决方法 可以通过添加索引进行优化解决，优化SQL语句如下。create ...
云数据库 RDS MySQL 版的decimal字段过大导致查询不...
问题描述 云数据库 RDS MySQL 版的 decimal 字段过大，导致查询不准确。问题原因 云数据库 RDS MySQL 版的 decimal 字段过大查询不准的情况，这是MySQL数据库的BUG引起。解决方法 可以通过添加索引进行优化解决，优化SQL语句如下。create ...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
备份大小
本文介绍如何查看和管理云数据库专属集群MyBase MySQL的备份大小。备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 实例列表>MySQL。找到目标实例，...
数据建模新能力解读
以下为您系列讲解阿里云智能数据建模新能力解读。课程视频列表 课程简介 课程内容：数据建模的发展背景。主要产品：DataWorks 课程时长：5分钟 课程内容：当前主流的数据建模方法论。主要产品：DataWorks 课程时长：4分钟 课程内容：数据...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
- 产品推荐
- 这些文档可能帮助您