大数据分析系统源代码-大数据分析系统源代码文档介绍内容-阿里云

获取物理表

数据源同步后，还需通获取当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。前提条件已新建工作组“信息中心(xxzx)”，具体操作，请参见新建工作组。已在工作组中分别添加数据源类型为MaxCompute、RDS MySQL...

ActionTrail日志清洗

以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件使用ActionTrail日志清洗之前，您需要...

分析业务过程

您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...

分析业务过程

您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...

分析业务过程

您可以参考业务规划设计文档和业务运行（开发、设计、变更等）相关文档，从以下几方面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...

SQL查询

可查询数据源的默认授权逻辑：标准模式工作空间下：在工作空间配置页面，绑定MaxCompute和Hologres引擎后，系统将默认授权数据分析师在SQL查询页面，可以使用该引擎开发环境的数据源。简单模式工作空间所有数据源及标准模式不符合上述...

迁移说明

当前计算源类型仅支持阿里云大数据计算服务MaxCompute。每个空间仅支持添加一个计算源。分析源：从计算源导入原始数据时，经计算源ID Mapping后的数据将导入分析源。后续Quick Audience使用这些数据时，将直接从分析源获取，受众数据也将...

开源支持

Python SDK PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作和DataFrame框架，让您可以轻松地在MaxCompute上进行数据分析。更多详情请参见GitHub项目 aliyun-odps-python-sdk 和包括所有接口、类的细节等详细内容的 ...

客户案例

价值体现从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...

文档修订记录

订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...

文档更新动态（2023年）

更新说明创建MySQL数据源创建PolarDB-X数据源创建AnalyticDB for MySQL 2.0数据源创建AnalyticDB for PostgreSQL数据源创建达梦（DM）数据源 创建TiDB数据源创建Kafka数据源离线集成配置优化新增Apache Doris数据源的离线集成。...

功能发布记录（2023年）

2023.4.18 所有地域所有DataWorks用户 SQL查询大数据公共数据集上线基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域所有DataWorks用户 SQL...

受众与核心能力

产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...

数据上云工具

MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...

DataWorks On MaxCompute使用说明

DataWorks基于云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...

轮播页面

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

DataWorks On Hologres使用说明

DataWorks基于实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...

点热力层（v3.x版本）

数据面板（默认模式）说明当组件以默认模式添加后，您可以单击数据面板右上角的分析模式，切换到分析模式数据面板。配置字段说明字段说明 lng 点热力层中心点的经度。lat 点热力层中心点的纬度。value 点热力层经纬度点的数据值大小...

点热力层（v3.x版本）

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

功能更新动态（2023年）

创建MySQL数据源创建PolarDB-X数据源创建AnalyticDB for MySQL 2.0数据源创建AnalyticDB for PostgreSQL数据源创建达梦（DM）数据源 创建TiDB数据源创建Kafka数据源离线集成新增Apache Doris数据源的离线集成。整库迁移任务支持...

通过函数计算节点实现GitHub实时数据分析与结果发送

阿里云原生大数据计算MaxCompute 阿里云对象存储OSS 阿里云函数计算FC MaxCompute配置数据源类型显示当前数据源类型，即MaxCompute。数据源名称选择步骤二中创建的MaxCompute数据源。OSS配置数据源类型显示当前数据源类型，即OSS。...

采集数据

注意事项 odps_first 数据源是工作空间绑定MaxCompute计算引擎时，系统根据引擎信息自动生成的默认数据源。配置数据去向为odps_first数据源，代表将源端数据写入至当前工作空间默认绑定的MaxCompute项目。DataWorks与MaxCompute关系及对应...

产品概述

DataV-Card 可视分析创作间 DataV-Card可视分析创作间是一款专为高频数据处理的业务人员而设计的零代码数据可视分析产品。它提供简单、直观、易于使用的数据准备、洞察发现和可视化分析工具，让用户可以通过具象、生动、有趣的方式快速理解...

网格聚合层（v3.x版本）

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

蜂窝聚合层（v3.x版本）

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

文档更新动态（2022年之前）

更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展，优化数据源配置交互新建数据源页面支持分类展示数据源类型，同时增加最近使用的数据源类型，提升了产品的易用性。更新说明 数据源 MySQL数据源版本拓展支持8.0，您可以...

DataWorks On CDP/CDH使用说明

支持的数据源及同步方案数据开发、数据分析 环境准备基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册CDH或CDP集群至...

功能更新动态（2022年之前）

2021年08月19日华北2（北京）、华东1（杭州）购买指引、计费说明 2021年08月24日华南1（深圳）2021年08月26日华东2（上海）数据源：可支持的数据源类型和版本拓展，优化数据源配置交互新建数据源页面支持分类展示数据源类型，同时增加...

蜂窝聚合层（v3.x版本）

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

Oracle节点

背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且安全的数据管理和分析服务。更多介绍请参见 Oracle。前提条件已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作...

SQL Server节点

背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且安全的数据管理和分析服务。更多介绍请参见 SQL Server。前提条件已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体...

基本概念

数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务应用：是调用API...

音频

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

跑马灯

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

中国国家边界（v3.x版本）

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

视频

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

阿里云流播放器

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

二维码

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

多行文本

数据源 单击配置数据源，可在设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见配置资产数据。数据过滤器数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器...

大数据分析系统源代码

新品推荐