互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
告警事件
告警事件集中为您展示离线计算、实时计算、实时集成、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
删除或变更节点输出的影响
当下游节点还未形成依赖，导致早于上游节点产出表数据，从而产生数据质量问题。因此，存在输出变更的场景请评估影响并谨慎操作。导致节点输出被删除或变更的操作 节点输出除了节点创建时自动生成两个节点输出外，您还可手动添加节点输出；...
查看数据表
本文介绍如何查看已公开的数据表资产详情。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。...基本信息：扩展信息：字段信息 数据探查 血缘关系 数据质量
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
操作流程
采用数据元的数据标准管理 根据业务需要，创建数据标准以约束建模规范，根据字段标准设置可以快速创建字段级质量规则，保证字段命名、字段值域遵循统一的标准规范，提升数据质量。流程图 流程说明 操作 说明 新建模型目录 通过新建模型目录...
操作流程
采用数据元的数据标准管理 根据业务需要，创建数据标准以约束建模规范，根据字段标准设置可以快速创建字段级质量规则，保证字段命名、字段值域遵循统一的标准规范，提升数据质量。流程图 流程说明 操作 说明 新建模型目录 通过新建模型目录...
配置规则：按模板（批量）
数据质量为您提供数十种预设表级别、字段级别的监控模板。本文为您介绍如何按模板配置监控规则。背景信息 内置模板分为表级和字段级的模板规则，支持您通过内置规则模板来快速为一批表批量创建数据质量规则。还支持您按表配置数据质量规则...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
对接使用CDH与CDP
数据质量规则配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据质量服务进行数据查、对比、质量监控、SQL扫描和智能报警等功能，数据质量服务的详细操作可参见 数据质量概述。数据地图配置 在DataWorks上使用CDH引擎时，可使用...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
表详情
元数据包括：技术元数据：表在库中的物理信息，包括所属库和实例、表名、描述（Comment）、字段、索引、编码、行数、容量、血缘、产出信息及数据质量等。业务元数据：用于更好从业务层面去描述和管理表而配置的信息，包括标签、类目、表...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
组件与数据类型的兼容
JDBC 支持 支持 支持 支持 支持 Graph 支持 支持 支持 支持 不支持 Tunnel 支持 支持 支持 支持 支持 DataWorks（数据集成）支持 支持 支持 支持 支持 DataX 支持 支持 支持 支持 不支持 DataWorks（数据质量）支持 支持 支持 支持 不支持 ...
简介
典型案例&架构 航海船舶大数据平台 场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：监管区域实时地理围栏判断。轨迹区域回放（指定区域+指定时间段）。轨迹回放（指定时间段查询）。架构...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
全景视角
数据生产视角：在数据开发场景下，建议您使用数据生产视角，关注查看数据开发过程中表、开发任务、数据服务、数据质量等方面的情况。详情请参见：数据生产视角。说明 您当前登录的账号需要拥有 AliyunDataWorksFullAccess 权限，才能使用 ...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
查看我可管理的资产
当需要查看目标数据表资产详情时，在该数据表 操作 列，单击 查看，可查看字段信息、数据预览、血缘关联和数据质量。单击 字段信息，显示分区及非分区字段信息，更多信息，请参见 查看表资产详情。单击 数据预览，显示数据表详细内容信息，...
查看我可管理的资产
当需要查看目标数据表资产详情时，在该数据表 操作 列，单击 查看，可查看字段信息、数据预览、血缘关联和数据质量。单击 字段信息，显示分区及非分区字段信息，更多信息，请参见 查看表资产详情。单击 数据预览，显示数据表详细内容信息，...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
入门概述
DataWorks V2.0常见问题与难点分析 DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 DataWorks V2.0数据服务功能及用法解析 DataWorks V2.0数据质量简介及最佳实践 ...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
上海新能源汽车车辆基础数据
陆续建成了“上海市新能源汽车大数据平台”、“上海市动力电池溯源管理平台”、“上海市加氢站与氢燃料电池汽车公共数据平台”、“GEF6上海能源管理中心平台”，有效发挥了数据在车辆安全监管、动力电池全生命周期监管、燃料电池汽车补贴...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
数据标准
通过设计标准数据元、数据指标、维度和维度属性，对关键业务对象以及属性和值域进行定义，制定并管理平台遵循的统一数据标准，管控数据的一致性和数据质量。模型标准设计 逻辑表命名规则：支持对逻辑表命名标准的规范设计，可基于模型命名...
- 产品推荐
- 这些文档可能帮助您