什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
企业版和标准版功能对比
支持 支持 空间分析 PolarDB MySQL版 的一键诊断融合了DAS部分功能，您可以通过空间分析，来查看目标集群的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等。支持 支持 锁分析 PolarDB ...
AIOps 解决方案专家服务内容说明
基于咨询服务设计方案提供实施方案，协助企业实现应用快速接入AIOps方案产品中《定制化业务风险巡检实施方案》AIOps解决方案标准版服务 序号 服务内容大类 服务描述 交付物 6 智能故障发现现场实施 基于咨询服务提供实施方案，帮助企业实现...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
高效数据治理实施指南
背景信息 在多人协作的数据团队中，数据治理是重要且繁琐的工作，在解决“如何制定客观的数据治理目标”、“如何高效推动团队达成治理目标”的过程中，通常包含以下挑战：问题难定位：传统数据治理方式难以快速、完整、精准地定位潜在问题...
数据防泄漏典型案例
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
性能监控常见问题
为什么控制台上的数据存储用量与在数据库中查询的数据库大小不一致？在数据库中查询数据库大小时，需要使用table column定义的大小。怎么查看内存升高的原因？PolarDB MySQL版 的 一键诊断 功能融合了DAS的部分功能，您可以通过 性能洞察...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
发现和处理异常告警
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：下载非常用Bucket内敏感文件、初次下载敏感数据等。行为异常：非正常的数据操作行为。例如：登录密码连续错误、短时间内大量删除数据等。自定义...
实时大盘
实时大盘实时更新并展示最近一小时或今天App异常（崩溃、ANR）的关键指标数据。实时大盘用于在发布版本、重要活动等关键时间点实时监控App。前提条件 已接入数据。具体操作，请参见 通过Android SDK接入数据 或 通过iOS SDK接入数据。操作...
OSS数据安全防护最佳实践
异常检测和审计 在云端OSS中存在海量数据的场景中，无法准确获知数据被谁使用，以及数据使用上是否存在异常行为或数据泄漏。DSC 通过智能化的检测模型，针对OSS中敏感数据的访问，实现异常行为检测和审计，同时为数据安全管理团队提供相关...
大数据上云及巡检服务内容说明
客户可以结合自身业务需求进行购买：大数据迁移方案设计服务（可选）大数据迁移方案实施基础服务（可选数据迁移、任务迁移两种子服务其中之一）大数据迁移方案实施增补服务（可选）服务注意事项如下：本SOW在一次售卖中仅包括迁移咨询、...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
通过自治服务解决MySQL实例CPU使用率过高的问题
本文将介绍如何使用数据库自治服务DAS（Database Autonomy Service）（原CloudDBA）来定位系统中的慢SQL和其它异常SQL语句，您可通过自治服务提供的建议优化这些SQL语句，降低实例的CPU使用率以提升系统效率。问题描述 在使用云数据库RDS ...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
接口详情
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
慢查询检测
慢查询检测功能用于检测并查询实例中存在的异常请求，并返回详细的查询结果。您可以通过该功能整体定位实例中的异常请求，结合业务需求及时调整或优化，避免慢查询影响业务处理能力。前提条件 已登录目标实例的集群管理系统，具体操作请...
应用概览
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
空间分析
通过空间分析功能，您可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，帮助您及时发现数据库中的空间异常，避免影响数据库的稳定性。前提条件 RDS MySQL实例为高...
崩溃分析
数据趋势与对比 崩溃分析大盘中，以折线图、柱状图形式展示影响用户、影响用户率、异常次数、异常率、人均异常等指标数据。当您选择 时间粒度 为 天 时，单击折线图或状态图，系统自动跳转至 异常问题 列表区域，展示当天所涉及的异常问题...
Hive服务异常排查及处理
异常排查 如果客户端遇到异常或性能等问题，您可以按照如下步骤进行排查：排查异常时间段机器CPU、内存、网络以及磁盘是否有异常。排查组件是否正常：检查访问集群的Hive组件中 HiveMetaStore 和 HiveServer2 巡检项是否有异常提示，如有则...
针对无标签数据创建智能巡检任务
保存：将注入的异常数据保存到源数据所在的Project下名为<源Logstore名称>_withlabel 的Logstore中。例如源数据所在Project为 sls-test-demo，Logstore为 sls-test-logstore，则注入的异常数据将存储到 sls-test-demo Project下，名为 sls-...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
查看运维大屏
进入运维大屏 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。查看运维概览 运维概览页面通过整体运维稳定性、异常运维问题、周期实例及周期任务运行、资源组使用、...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
- 产品推荐
- 这些文档可能帮助您