什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
区域热力层（v4.x版本）
数据源面板 地理边界geojson数据接口：通过配置地理边界geojson数据接口，可将提取到的区域GeoJSON边界数据应用到DataV中，配置方法如下。数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域...
区域热力层（v3.x版本）
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
BigQuery数据迁移至MaxCompute
执行LOAD命令，将OSS的全部数据加载至创建的MaxCompute表中，并执行SQL命令查看和校验数据导入结果。LOAD命令一次只能加载一张表，有多个表时，需要执行多次。LOAD命令详情请参见 LOAD。LOAD OVERWRITE TABLE web_site FROM LOCATION 'oss:...
加载样本数据集
单击页面右上方的 样本数据集>加载数据集。在 加载样本数据集 对话框中单击 确定加载。登录数据库并切换到 adb_sampledata_tpch 库，执行 SELECT count(*)FROM lineitem;语句查询样本数据的行数，完整的样本数据约为599万条。说明 样本数据...
管理样本数据集
单击页面右上方的 样本数据集>加载数据集。在 加载样本数据集 对话框中单击 确定加载。释放样本数据集 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。找到目标实例，单击实例ID。单击页面右上方的...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
管理内置数据集
Q：提示加载失败或者长时间加载中如何处理？A：您需要先通过SQL语句 DROP TABLE table_name;删除库中的所有表。表删除以后，再通过SQL语句 DROP DATABASE ADB_SampleData_TPCH;删除内置数据集的库。删除ADB_SampleData_TPCH数据库后，重新...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
图表管理
自动加载数据 在有些查询压力较大的场景下，您不希望在打开仪表盘时组件立即加载数据，可以设置 自动加载数据 项为 否，默认情况为 是。创建图表 登录 数据管理DMS 5.0。在控制台首页顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
导入接口介绍
您可以发送请求至<gdb-endpoint>:<port>/loader 终端，实现将数据文件从OSS的Bucket中导入至图数据库GDB实例，还可以查看任务状态和删除导入任务。本文介绍添加导入任务（POST）、查看导入任务状态（GET）和删除导入任务（DELETE）的应用...
可视化页面性能优化常见问题
当您看到数据接口请求时长在8至9s时间左右时，多半是部分组件的接口响应速度太慢导致请求超时，您可以查看具体请求的response信息，根据是否提示timeout，找到对应的组件ID，在图层列表中进行搜索来判断是哪个组件接口影响了数据加载。...
可视化页面性能优化常见问题
当您看到数据接口请求时长在8至9s时间左右时，多半是部分组件的接口响应速度太慢导致请求超时，您可以查看具体请求的response信息，根据是否提示timeout，找到对应的组件ID，在图层列表中进行搜索来判断是哪个组件接口影响了数据加载。...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
轮播页面
图表样式 轮播页面是基础交互组件的一种，仅支持在数据中配置页面的属性，包括ID、页面名称和链接，适用于在数据看板中轮播展示多个网页。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的...
7.数据加载
本文介绍自定义组件如何加载数据。系统组件的数据加载能力 让我们先看下数据容器组件 Data、List 的数据加载能力。首先，我们模拟一个简单的页面，展示数据加载的效果。数据模型：创建3个实体模型，实体1、实体2、实体3。页面模型：使用 ...
通过函数计算节点实现GitHub实时数据分析与结果发送
步骤四：配置案例 在 DataWorks控制台 左侧导航栏选择 大数据体验>ETL工作流模板，单击 Github十大热门编程语言 模板，单击 载入模板，配置模板参数。参数 说明 模板名称 显示当前模板名称，即“Github十大热门编程语言”。工作空间 选择 ...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 ...若由于DDL或DML变更导致数据集加载状态异常，请尝试删除ADB_SampleData_TPCH数据库并重试加载数据集。
AliPG功能模块
读写外部数据 oss_fdw AliPG提供的oss_fdw插件可以将OSS中的数据加载到数据库中，也可以将数据库中的数据写入OSS中，为您提供数据迁移、冷热数据分离功能。并发控制 pg_concurrency_control AliPG提供的pg_concurrency_control插件可以控制...
外部表自动加载（Auto Load）
应用场景 Hologres与 云原生大数据计算服务MaxCompute、阿里云数据湖构建（Data Lake Formation，DLF）和 阿里云对象存储（Object Storage Service，OSS）深度兼容，无需数据搬迁，即可通过外部表加速查询存储于MaxCompute或OSS的数据。...
功能特性
DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的...
性能测试工具-图形工具
pre_load 是否要预加载数据，只有预加载写入的数据才能进行读相关的测试。load_params 预加载的相关参数，并发线程、限速（每秒目标操作数）和加载行数。load_wait 预加载后的等待时间。warm_up 是否在测试前进行预热读。warm_up_params ...
在EMR集群运行TPC-DS Benchmark
sed-i 's/hive.optimize.sort.dynamic.partition.threshold=0/hive.optimize.sort.dynamic.partition=true/' settings/*.sql 生成并加载数据。在SF=3时，该步骤耗时为40min~50min。如果运行正常，TPC-DS数据表将会加载到tpcds_bin_...
性能测试工具-图形工具
pre_load 是否要预加载数据，只有预加载写入的数据才能进行读相关的测试。load_params 预加载的相关参数，并发线程、限速（每秒目标操作数）和加载行数。load_wait 预加载后的等待时间。warm_up 是否在测试前进行预热读。warm_up_params ...
- 产品推荐
- 这些文档可能帮助您