构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移到 云原生数据仓库AnalyticDB MySQL版 2.0集群。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase ...
概述
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供 数据集成、数据开发、数据地图、数据质量 和 数据服务 等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
配置ArgoDB输入组件
使用限制 ArgoDB输入组件支持数据格式为orc、parquet、text、holodesk、rc、seq的ArgoDB数据表。不支持ORC格式的事务表集成。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图指引，进入 ArgoDB 输入配置 页面...
添加CSV文件
常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件，不能通过直接修改后缀改变CSV文件格式，会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制，需要使用HTTPS网址打开DataV控制台，再添加CSV...
添加CSV文件
常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件，不能通过直接修改后缀改变CSV文件格式，会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制，需要使用HTTPS网址打开DataV控制台，再添加CSV...
恢复下载后的备份数据
恢复物理备份的下载数据 下载后的备份数据说明 MySQL数据为Xtrabackup产生的数据格式，并进行压缩。SQL Server数据为其原生备份命令产生的数据格式，并进行压缩。MySQL物理备份下载数据的示例如下。操作步骤 下载完成后，您需要对下载的...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
配置TDH Inceptor输入组件
使用限制 TDH Inceptor输入组件支持数据格式为orc、parquet、text、rc、seq的TDH Inceptor数据表。不支持ORC格式的事务表集成。在开始执行操作前，请确认您已完成以下操作：已创建TDH Inceptor数据源。具体操作，请参见 创建TDH Inceptor...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
新建 TiDB 数据源
TiDB 数据格式 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户时，您可以选择 TiCDC 或 TiDB Binlog 格式的数据，请从下拉列表中进行选择。备注（可选）数据源的备注信息。单击 测试连接，验证数据传输和数据源的网络连接，以及...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
配置Hive输入组件
使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输入组件。更多...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
新建数据处理任务
背景信息 数据处理支持以下数据格式的输入和输出：类型 输入格式 输出格式 倾斜数据 OSGB S3M、3DTiles 地形数据 GeoTIFF QUANTIZED_MESH 三维模型 FBX、GLTF S3M、3DTiles 影像优化 GeoTIFF GeoTIFF(cog)操作步骤 登录 数据资源平台控制台...
上传企业知识
重要 支持数据类型 支持上传pdf、doc、docx、Excel格式的文档，文档内容格式要求点击 文档上传格式要求 数据作用范围 用于 在线部分功能说明 描述的「应用设置及测试」中，开启「文档检索」后，文档检索能力数据范围 当上传的文档为Excel时...
产品功能
数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析），解析后可查看数据的样本量，并查看样本特征摘要，解析特征分布情况。数据切分 支持按照自定义...
概述
基础版和高性能版Spark全密态计算引擎的对比如下：版本 密态数据的格式 性能（对比开源社区Spark）兼容性（对比开源社区Spark）工具依赖 密钥机制 基础版 EncBlocksSource格式 0.5倍 SQL语法兼容 数据格式不兼容 依赖Spark提供的客户端工具...
常用案例
案例一：数据格式转换 在 画布编辑器 页面，添加 环图 组件。单击右侧配置面板的数据 图标，进入数据设置页签。单击 配置数据源，进入 设置数据源 页签。修改静态数据为如下代码。{"服饰":21,"食品":29,"建材":13,"娱乐":33 } 说明 由于...
概述
大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三方工具对文件进行格式转换，然后将转换后的数据上传至OSS，整个过程比较繁琐。为减轻用户工作量，您可以直接使用DLA来转换文件格式。假设将1.2GB的数据以...
Kafka实时入湖建仓分析
数据解析配置 的参数说明如下：参数名称 参数说明 消息数据格式 Kafka的Value字段的数据存储格式，固定为JSON。Schema设置模式 默认为 手动设置，会从Kafka的Topic获取一条样例数据进行Schema的推断设置。消息样例数据 通过调整样例数据对...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
配置OSS输入组件
xls、xlsx格式 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。按名称：需要填写要读取的 sheet名称。按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认...
配置OSS输入组件
xls、xlsx格式 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。按名称：需要填写要读取的 sheet名称。按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认...
配置Amazon S3输入组件
xls和xlsx文件类型 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。sheet名称 读取多张sheet以英文逗号（,）分隔，也可输入*读取所有sheet。重要*和英文逗号（,）不可混用。数据内容起始行 ...
配置Amazon S3输入组件
xls和xlsx文件类型 参数 描述 sheet选择 可按名称或索引选择要读取的sheet，如读取多个sheet需保持数据格式一致。sheet名称 读取多张sheet以英文逗号（,）分隔，也可输入*读取所有sheet。重要*和英文逗号（,）不可混用。数据内容起始行 ...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
OSS数据格式转换 参数属性 参数名称 说明 示例 配置数据源 OSS存储路径 数据源存储的OSS目录。格式为 oss:/名称>/目录名称>/。oss:/doc-test-01/datalake/存储格式 来源表的数据格式。CSV 配置目标数据湖信息 目标数据库 存储目标表的数据...
概述
归档后的数据格式会转变为CSV或ORC格式并分成多个文件存储在OSS上，PolarStore中的这部分数据会被自动删除，存储费用也会随着存储空间容量的降低而减少。说明 冷数据归档完成后，PolarStore中的原表会转变为OSS上的归档表，归档表不支持...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
设计阶段
源表字段的数据格式。源表增量规则。探查完成后，最终产出 数据探查报告。如果发现当前数据无法支撑需求的实现，则要将需求退回给数据产品经理，由数据产品经理发起迭代需求流程。系分设计 系分设计包括表设计、Mapping设计和调度设计三...
轮播页面
事件 事件 说明 当大屏轮播数据接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当当前大屏数据接口...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
- 产品推荐
- 这些文档可能帮助您