数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
客户案例
视频介绍 社交媒体行业：欢聚时代大规模数据湖建设 客户简介 欢聚时代成立于2005年，是全球领先的社交媒体企业，旗下运营多款社交娱乐产品，包括即时通讯、电商业务等。目前基于Hadoop+HDFS开源架构进行离线（HDFS+Spark）、实时计算...
查看调度资源大盘
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
计费逻辑说明
资源费用明细：数据服务API调用 数据质量 数据质量可对任务产出的表数据进行数据质量监控，DataWorks将根据数据质量规则实例数量计费。资源费用明细：数据质量 OpenAPI DataWorks提供OpenAPI，您可基于OpenAPI实现业务定制化开发，...
资源消耗统计
可观测监控 Prometheus 版 提供了资源消耗统计的功能，便于您快速了解Prometheus实例各自的指标数据上报分布情况，本文介绍如何查看资源消耗统计。功能入口 登录 ARMS控制台。在左侧导航栏选择 Prometheus监控>资源消耗。在资源消耗统计...
资源消耗统计
可观测监控 Prometheus 版 提供了资源消耗统计的功能，便于您快速了解Prometheus实例各自的指标数据上报分布情况，本文介绍如何查看资源消耗统计。功能入口 登录 Prometheus控制台。在左侧导航栏单击 监控列表，进入可观测监控 Prometheus ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
深度解析Lindorm搜索索引（SearchIndex）特性
背景 在海量数据存储的背景下，伴随着云原生、5G/IoT时代的到来，新的业务模型在不断涌现，除了简单的主键查询和范围查询外，简单分析、多维检索成为业务的基本需求。常见的一些查询需求如下：多维查询。即席查询(adhoc)，一般是不固定的列...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
Tair小版本发布日志
为提升用户体验，云原生内存数据库Tair 会不定期地发布小版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Tair小版本的更新说明。查询或升级实例的小版本 您可以通过控制台查看当前的小版本，具体操作及升级小版本的其注意事项...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
查看运维大屏
数据同步量 根据数据源类型展示所选业务日期内，同步数据量的拉取和写入曲线，快速查看同步数据量较大的引擎任务，后续可考虑向该类引擎任务进行资源倾斜。数据同步榜单 统计最近10个 最新失败实例 和 最新成功实例，以便您全局查看最新的...
数据统计
数据统计分别统计标签和内容的使用情况。标签使用情况统计 选择 内容营销>所在空间>数据统计>标签使用，进入标签数据页面，如下图所示。支持从页面右上角选择统计数据的日期。页面展示：总标签数，以及较前一日的变化量。总标签数、标签数...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
数据统计
实人认证服务为您提供了数据统计功能。数据统计功能统计实人认证、活体人脸验证和人脸比对的认证数据。本文介绍了如何查看统计的数据。前提条件 已注册阿里云账号。更多信息，请参见 阿里云账号注册流程。阿里云账号已通过企业实名认证。更...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
API概览
通信监测 API 描述 ...用量统计 API 描述 DescribeUsageOverallData 获取用量统计的概览数据。DescribeUsageAreaDistributionStatData 获取用量统计的地域分布数据。DescribeUsageDistributionStatData 获取用量统计的分布数据。...
探查数据集
本文为您介绍可视分析创作间中数据集的探查过程。前提条件 已通过上传或者连接数据库完成数据集的创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。选择需要探查的数据集，单击 探索，...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看...在实时任务列表中，单击目标实时同步任务 操作 列的 详情，查看监控详情，包括当前实例的实例属性和运行日志，接入数据量趋势图的接入数据量、输出数据统计、失败数据统计。
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看...在实时任务列表中，单击目标实时同步任务 操作 列的 详情，查看监控详情，包括当前实例的实例属性和运行日志，接入数据量趋势图的接入数据量、输出数据统计、失败数据统计。
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看...在实时任务列表中，单击目标实时同步任务 操作 列的 详情，查看监控详情，包括当前实例的实例属性和运行日志，接入数据量趋势图的接入数据量、输出数据统计、失败数据统计。
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
统计表
配置统计表结构，用于导入统计表数据。统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
统计功能介绍
一、功能效果 网站管理者通过统计功能查看了解网站使用期间的数据，更好的进行针对性优化或推广。二、使用教程 统计功能包括：网站概况、渠道统计、栏目统计、产品统计、文章统计。1.网站概况 1.1 点击网站概况可以查看该网站在选择的时间...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
常见问题
时间范围作用于有时间趋势，或某段时间的总和统计的，如果该指标卡是存量、现状等统计，数据为当下的统计，不会随时间范围变化。Q：我为什么不能看工作负荷？工作负荷可以查看企业内任意成员的工作安排，效能洞察管理员能够自由查看。对于...
- 产品推荐
- 这些文档可能帮助您