E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
文档修订记录
使用MaxCompute独享Tunnel进行数据同步 2023.4.19 新增功能 数据集成 以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。EMR Hive数据整库离线同步至MaxCompute 2023.4...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
大数据专家服务
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
数据模型
数据库在存储数据时，会将同一条时间线的数据尽量聚类存储，提升时间线数据访问效率，同时更好的支持时序数据压缩。在时序表中，Tag列的值都相同的一系列数据行构成了一条时间线。时序数据库提供一系列特有的数据访问操作，包括聚合...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
Echarts K线图
本文介绍Echarts K线图的图表样式和配置面板的功能。图表样式 配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。...
Echarts K线图
本文介绍Echarts K线图的图表样式和配置面板的功能。图表样式 样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索配置项。...
查看离线数据同步任务监控
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
查看离线数据同步任务监控
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
进入数据质量概览（旧版）
全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 EMR、MaxCompute和DataHub数据源的任务报警趋势图，单位：次。阻塞趋势图 为您展示 近7天、近30天 和 近半年 EMR、...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
概述
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供 数据集成、数据开发、数据地图、数据质量 和 数据服务 等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘...
飞线层
图表样式 飞线层是3D球形地图的子组件，支持独立的样式和数据配置，包括飞线的速度、高度、色调以及起始点经纬度等，适用于OD数据的线型表达，通常表示两地之间的关联，如物流、交易等。配置面板 搜索配置：单击 配置 面板右上角的 搜索...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
热力线层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
创建MySQL to MaxCompute离线同步周期任务
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线同步周期任务。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
- 产品推荐
- 这些文档可能帮助您