数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
持久内存型
单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
持久内存型
单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建Tair实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
基本散点图
禁止加载态 勾选复选框，在组件更新和预览数据看板时，将看不到组件初始化时的加载内容，去勾选则相反。默认为去勾选状态。受控模式 勾选复选框，组件初始化状态下不请求数据，仅通过全局变量或蓝图编辑器配置的方法发起请求数据；去勾选复...
区域热力层（v3.x版本）
禁止加载态 勾选复选框，在组件更新和预览数据看板时，将看不到组件初始化时的加载内容，去勾选则相反。默认为去勾选状态。受控模式 勾选复选框，组件初始化状态下不请求数据，仅通过全局变量或蓝图编辑器配置的方法发起请求数据；去勾选复...
区域热力层（v4.x版本）
禁止加载态 勾选复选框，在组件更新和预览数据看板时，将看不到组件初始化时的加载内容，去勾选则相反。默认为去勾选状态。受控模式 勾选复选框，组件初始化状态下不请求数据，仅通过全局变量或蓝图编辑器配置的方法发起请求数据；去勾选复...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
测试数据构建
RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
从RDS MySQL迁移至自建Kafka
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
MongoDB 4.2
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
表设计最佳实践
拉链表的设计 在数据仓库的数据模型设计过程中，经常会遇到如下需求：数据量较大。表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单...
如何支持超大事务
以本测试场景为例，如果事务的每条语句都是INSERT语句，那么每个分片的数据写入量不应超过2 GB，事务总的数据写入量不能超过：分片数量×2 GB，例如8分片的情况下，写入总量在16 GB时也会触发这个报错。但是，上述讨论并不意味着只要您的...
冷数据归档常见问题
执行冷数据归档操作后，为什么在控制台上看不到归档的表信息？如果您归档的表是空表，归档成功后不会在OSS上生成CSV文件，在控制台上也看不到对应的表信息。对归档至OSS的表执行rename操作，需要多长时间？对归档至OSS的表执行rename操作会...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 开启或关闭实例释放保护 本操作不影响实例的运行。设置可维护时间段 请将维护时间段设置在业务低峰期，以避免维护过程可能...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 7.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 6.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
计费逻辑说明
资源费用明细：数据服务API调用 数据质量 数据质量可对任务产出的表数据进行数据质量监控，DataWorks将根据数据质量规则实例数量计费。资源费用明细：数据质量 OpenAPI DataWorks提供OpenAPI，您可基于OpenAPI实现业务定制化开发，...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
- 产品推荐
- 这些文档可能帮助您