什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
账单数据订阅及查询分析
您可在用户中心订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
计费项
实例 计费项 计费规则 数据迁移实例 链路配置费用 数据迁移实例仅支持按量付费，计费规则如下：仅在增量数据迁移正常运行期间计费，结构迁移和全量数据迁移期间不计费。重要 在增量数据迁移暂停和失败期间，不会计费。欠费前1个小时内，...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
账单和用量查询
您可以通过阿里云管理控制台查看 云数据库ClickHouse 的账单详情。月账单查询 登录 云数据库ClickHouse控制台。在控制台右上方，选择 费用>用户中心。在左侧导航栏，选择 账单管理>月账单概览。说明 月账单的详细说明，请参见 月账单详情。...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
集群性能监控概述
云数据库 OceanBase 为您提供集群实例的数据库性能和主机性能监控功能，可在 OceanBase 管理控制台中查看监控数据，还支持自定义监控能力，您可按需配置常用监控指标作为自定义监控面板。查看监控数据 进入 OceanBase 管理控制台。在左侧...
创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
我的看板
数据来源 在工作台中创建并发布的数据看板内容，会同步在此处展示，若数据看板仅编辑完成，但是未发布，则在此处不展示。如需编辑某一看板内容，请单击页面右上角的 前往可视化工作台，编辑并发布对应数据看板后，刷新当前页面即可。操作...
添加 MySQL 数据源的白名单
本文为您介绍如何添加 RDS 实例、PolarDB 实例、VPC 内自建数据库和数据库网关类型 MySQL 数据源的白名单。背景信息 MySQL 数据源的实例类型包括 RDS 实例、PolarDB 实例、VPC 内自建数据库、数据库网关 和 公网 IP 自建数据库。公网 IP 是...
创建数据源
概述 您可以通过以下方式创建 OceanBase 开发者中心（OceanBase Developer Center，ODC）数据源：ODC 首页中创建数据源：进入 ODC 首页后，单击 新建连接 按钮创建数据源。公有云实例中创建数据源：公有云的实例中，单击 登录数据库，输入...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
产品计费
数据热存储 0.01元/GB/天 0.015元/GB/天 数据热存储的费用。数据引入到热存储后，首日存储免费；如果开启了冷存储，数据热存储到期后自动免费转入冷存储。热存储数据最多存储7天。数据冷存储 0.003元/GB/天 0.0045元/GB/天 数据冷存储的...
添加 Oracle 数据源的白名单
本文为您介绍如何添加 VPC 内自建数据库和数据库网关类型 Oracle 数据源的白名单。背景信息 Oracle 数据源的实例类型包括 VPC 内自建数据库、数据库网关 和 公网 IP 自建数据库。公网 IP 是 OMS 服务的公网出口，仅访问公网数据源时，需要...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
添加 OceanBase 数据源的白名单
进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 专有网络 ID，粘贴 VPC ID 筛选安全组。单击目标安全组的名称，进入详情页面。在 入方向 快速添加 IP 地址。复制 OMS 控制台 新建数据源 对话框中显示的 ...
添加 Kafka 数据源的白名单
进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 专有网络 ID，通过 VPC ID 筛选安全组。单击目标安全组的名称，进入详情页面。在 入方向 快速添加 IP 地址。复制 OMS 控制台 添加数据源 对话框中显示的 ...
账单查询
CDT账单 支持查询公网流量免费额度账单明细，在 云数据传输-公网 明细账单中，单价为0或者实例ID中阶梯为0的流量即享受了公网流量免费额度，每月超过公网流量免费额度部分，按照CDT阶梯单价计费。账单流水 页签：可查看在阿里云上所有产品...
- 产品推荐
- 这些文档可能帮助您