概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
Github实时数据同步与分析
操作难度 易 所需时间 55分钟 使用的阿里云产品 实时数仓Hologres 云原生大数据计算服务 MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据可视化 所需费用 0元 阿里云提供一定额度的资源包供您免费体验，开通后会使用计算...
什么是数据资源平台
依托数据资源平台，可设计高质量的标准化数据模型，减少重复开发工作，用户可全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用并探索数据，更高效地从数据中获取业务价值。目前数据资源平台提供以下功能：协同 ...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
用户价值
用户角色 功能 能力 详述 数据生产方 数据开发 设计数据模型 开发数据加工逻辑 设计标准、稳定的数据模型：通过数据标准和数据建模，设计标准化数据模型，提高数据模型的稳定性，减少重复开发工作。高效完成数据加工与运维：通过数据同步、...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
数据标准化
模块介绍 数据标准化模块的作用是对接入的数据进行标准化处理，可以通过原始数据得出对应的标准地址、结构化信息、POi信息、POi类型、判断是否为问题地址等信息。新建任务 进入 数据标准化 页面后，点击“新建任务”，输入任务名称，选择...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
DataWorks on EMR数据安全方案
数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
通过函数计算节点实现GitHub实时数据分析与结果发送
开通 大数据开发治理平台DataWorks 并创建工作空间（本实践以使用标准模式工作空间为例，简单模式的操作类似）。操作详情请参见 开通DataWorks服务、创建工作空间。开通 云原生大数据计算服务MaxCompute，并创建MaxCompute项目。操作详情请...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
DataWorks V3.0
DataWorks V3.0全新推出一站式OLAP开发平台Holo Studio，为您提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务，以及高效、便捷的开发服务，提升开发效率。详情请参见 什么是实时数仓Hologres。图计算服务：图计算服务（Graph ...
快速体验
技术选型 数据建模：大数据开发治理平台 DataWorks数据建模（可选），标准版及以上版本可使用，需要单独购买。原始数据存储：云数据库 RDS MySQL（必选），本实验中DataWorks为您提供了阿里云RDS MySQL用于测试，包含了测试数据，无需您...
功能简介
依托企业数据智能平台，您可以设计高质量的标准化数据模型，减少重复开发工作，全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用并探索数据，更高效地从数据中获取业务价值。目前企业数据智能平台提供以下功能：...
数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
客户案例
价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使实时计算开发周期大大减少，维护更加容易，数据一致性得到更好地保障，提升了业务监控大屏的准确性和实时性，...
应用场景
建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和非结构化数据进行高效分析处理的能力。EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松...
核心能力
一站式大数据开发平台，提供一致性开发体验 一站式数据同步 支持离线/实时数据传输。周期同步任务调度统一管理。主流空间数据库全面支持同步汇聚（超图SDX+，ArcGIS SDE，PostGIS，Ganos）。自动灵活的数据探查 物理表预览和表数据自动探查...
什么是EMR Serverless Spark
一站式的开发体验 提供作业开发、调试、发布、调度等一站式数据开发体验。内置版本管理、开发与生产隔离，满足企业级开发与发布标准。Serverless的资源平台 开箱即用，无需手动管理和运维云基础设施。弹性伸缩，秒级资源弹性与供给。按量...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
ETL工作流快速体验
赋值节点应用 DataWorks MaxCompute 数据开发 标准版及以上版本 DataStudio 数据开发 模块的赋值节点支持ODPS SQL、Shell和Python三种赋值语言，通过赋值节点实现将上游节点任务的查询或输出结果提供给下游节点使用。案例配套文档：赋值...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
计费逻辑说明
智能数据建模计费标准 DATABLAU数据建模 DATABLAU是DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供的一体化数据建模解决方案。用于将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化...
应用场景
2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步分析做准备。2.2 收益 实时ETL 接入多种数据源，实时进行清洗、过滤、关联与...
DataWorks模块使用说明
使用流程与主要子模块 DataWorks为您提供从端到端的一站式数据开发治理平台，数据处理流程主要包括以下几个阶段。各个阶段DataWorks的主要子模块如下。数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，...
DataWorks On MaxCompute使用说明
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足MaxCompute开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的标准版、专业版、企业版服务。DataWorks标准...
DataWorks On Hologres使用说明
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足Hologres开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的标准版、专业版、企业版服务。DataWorks标准版...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
应用场景
该场景可实现：实时多源数据同步 支持多业务数据源，结构化非结构化数据的实时同步。营销效果实时反馈 支持对海量日志数据和业务进行即时的复杂关联计算，提高营销效果反馈及时性。商业智能报表 该场景要求支持海量数据实时入库和计算，...
开通DataWorks服务
成功登录后，即可进入 申请免费试用DataWorks 页面，左侧导航栏产品类别选择 大数据计算>数据开发与服务，单击 大数据开发治理平台DataWorks 产品的 立即试用。在弹出的购买试用面板选择开通的地域，勾选服务协议后单击 立即试用。开通...
互联网、电商行业离线大数据分析
DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的...
- 产品推荐
- 这些文档可能帮助您