产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据分析整体趋势
另一方面，分布式数据库也快速发展，融合了部分大数据技术和存储格式，在扩展性层面获得了很好提升。在数据分析场景，两者解决的都是相同问题。市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的...
JSON_TUPLE
命令格式 string json_tuple(string,string,string,.)参数说明 json：必填。STRING类型，标准的JSON格式字符串。key：必填。STRING类型，用于描述在JSON中的 path，一次可输入多个，不能以美元符号（$）开头。MaxCompute支持用.或['']这两...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
添加数据
背景信息 空间数据支持添加的 数据类型与格式有：数据类型 数据格式 矢量 Shapefile GeoJSON CSV GDB PostGIS 栅格 GeoTIFF Images NetCDF 倾斜摄影 OSGB S3M 3DTiles BIM RVT DGN IFC 点云 LAS PCD 三维模型 OBJ 3DS glTF FBX 栅格瓦片 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
创建同步OSS
同步说明 1）目前DataHub支持将TUPLE和BLOB数据同步到OSS中 TUPLE:采用csv数据格式，每个Record中的column数据以逗号分隔，Record之间采用 换行符' ' 分隔 BLOB:采用Append方式进行数据追加，如果用户需要拆分OSS数据，用户需要自己往...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
新建Flink SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Flink Vvp SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
数据处理
数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、ORC等多种数据格式的解析）。在 数据解析器 页面，选择导入数据对应的 解析器、分离、列标题 和 选项。单击 解析 以生成...
BulkLoad数据导入
22.600000|22.900000|555000 3.2 csv数据格式 csv格式数据需要先将csv数据转成SSTable格式，Cassandra给我们提供了CQLSSTableWriter工具，用于生成SSTable，通过它可以将任意格式数据转化成SSTable格式。因为csv格式也是需要自己预先组织，...
近实时增量导入
数据切分Bucket的优势可详细参考 表数据格式。Tunnel SDK提供的数据写入接口目前只支持upsert和delete。commit接口调用代表原子提交这段时间写入的数据。如返回成功就代表写入数据查询可见，满足读写快照隔离级别。如返回失败，可支持重试...
CREATE STREAM
tableProperties 是 指定数据流表的属性，包括以下配置项：VALUE_FORMAT：必选项，指定数据源写入Lindorm流引擎的数据格式，包括CSV、Avro、JSON等格式。KEY_VALUE：必选项，指定数据流表的主键列。STREAM_TOPIC：必选项，指定数据流表的...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
配置ArgoDB输入组件
使用限制 ArgoDB输入组件支持数据格式为orc、parquet、text、holodesk、rc、seq的ArgoDB数据表。不支持ORC格式的事务表集成。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图指引，进入 ArgoDB 输入配置 页面...
恢复下载后的备份数据
恢复物理备份的下载数据 下载后的备份数据说明 MySQL数据为Xtrabackup产生的数据格式，并进行压缩。SQL Server数据为其原生备份命令产生的数据格式，并进行压缩。MySQL物理备份下载数据的示例如下。操作步骤 下载完成后，您需要对下载的...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
配置TDH Inceptor输入组件
使用限制 TDH Inceptor输入组件支持数据格式为orc、parquet、text、rc、seq的TDH Inceptor数据表。不支持ORC格式的事务表集成。在开始执行操作前，请确认您已完成以下操作：已创建TDH Inceptor数据源。具体操作，请参见 创建TDH Inceptor...
新建 TiDB 数据源
TiDB 数据格式 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户时，您可以选择 TiCDC 或 TiDB Binlog 格式的数据，请从下拉列表中进行选择。备注（可选）数据源的备注信息。单击 测试连接，验证数据传输和数据源的网络连接，以及...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
新建数据处理任务
背景信息 数据处理支持以下数据格式的输入和输出：类型 输入格式 输出格式 倾斜数据 OSGB S3M、3DTiles 地形数据 GeoTIFF QUANTIZED_MESH 三维模型 FBX、GLTF S3M、3DTiles 影像优化 GeoTIFF GeoTIFF(cog)操作步骤 登录 数据资源平台控制台...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
配置Hive输入组件
使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输入组件。更多...
常用案例
案例一：数据格式转换 在 画布编辑器 页面，添加 环图 组件。单击右侧配置面板的数据 图标，进入数据设置页签。单击 配置数据源，进入 设置数据源 页签。修改静态数据为如下代码。{"服饰":21,"食品":29,"建材":13,"娱乐":33 } 说明 由于...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
配置OSS输入组件
xls、xlsx格式 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。按名称：需要填写要读取的 sheet名称。按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认...
配置OSS输入组件
xls、xlsx格式 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。按名称：需要填写要读取的 sheet名称。按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认...
配置Amazon S3输入组件
xls和xlsx文件类型 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。sheet名称 读取多张sheet以英文逗号（,）分隔，也可输入*读取所有sheet。重要*和英文逗号（,）不可混用。数据内容起始行 ...
配置Amazon S3输入组件
xls和xlsx文件类型 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。sheet名称 读取多张sheet以英文逗号（,）分隔，也可输入*读取所有sheet。重要*和英文逗号（,）不可混用。数据内容起始行 ...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
概述
归档后的数据格式会转变为CSV或ORC格式并分成多个文件存储在OSS上，PolarStore中的这部分数据会被自动删除，存储费用也会随着存储空间容量的降低而减少。说明 冷数据归档完成后，PolarStore中的原表会转变为OSS上的归档表，归档表不支持...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
- 产品推荐
- 这些文档可能帮助您