应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
宜搭创建大屏实操
新建两个企业经营中需要的基础表单，分别为 客户库 和 签约表。其中 客户库 表单包括 姓名、所属行业、联系方式、客户来源、所在地址 以及 经纬度 等信息。签约表 表单包括 签约日期、合同编码、客户名称、合同名称、我方签约人、客户签约...
识别任务说明
需要导出的数据量越大，导出需要的时间越长，请您耐心等待。等待导出状态为已完成时，单击目标导出任务 操作 列的 下载。重要 完成导出后，您需要在三天内下载导出的数据。超过三天导出任务会过期，您将无法下载导出的敏感数据。相关文档 ...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
什么是Dataphin
Dataphin产品能力大图如下图所示。您可以在 阿里云数据中台，进一步了解Dataphin。视频简介及核心功能介绍 Dataphin简介 核心功能特性速览 功能 描述 相关文档 平台管理 Dataphin的基础功能，包含账号管理、计算设置和智能引擎。超级管理员...
技术发展趋势
而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着全球连接的增多，更多数据将产生，其中实时数据所占比例将增加；到2025年，全球近30％的数据将是实时的...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
权限管控与隔离
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
权限管控与隔离
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
数仓规划概述
在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间的全局架构，以实现业务划分、资源管控、项目管理等目的：逻辑空间：基于业务特征划分命名空间...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
DataWorks V3.0
DataWorks V3.0的一个工作空间支持创建或绑定多个引擎实例（目前仅DataWorks专业版及以上版本支持），您可以更灵活地对业务所需要的计算引擎、计算任务和数据表等，进行统一管理。任务资源组编排 DataWorks V3.0将全新推出任务资源组编排，...
大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...
基础折线图
在蓝图编辑器配置页面，单击导入节点栏内的 基础折线图 组件，在画布中可以看到如下图所示的基础折线图的蓝图编辑器配置参数。事件 事件 说明 当基础折线图接口描述请求完成时 数据接口请求完成时返回并经过过滤器处理后抛出的事件，同时抛...
开通DataWorks服务
您可以根据业务需求选购合适版本：基础版（0元/月）：适合学生及大数据入门者进行试用。标准版、专业版、企业版：为您提供更加丰富的产品能力，满足不同群体的业务需求。同时，采用包年包月的计费方式进行计费，计费详情请参见 DataWorks...
产品概述
Dataphin半托管 半托管模式在购买Dataphin软件的基础上，还需要购买软件部署所依赖的底层资源，云平台将基于已购资源在指定VPC中进行自动化部署，具备更好的安全性和可拓展性。您可以自行控制版本升级时间以及底层资源的扩缩容，实现灵活可...
基于Delta lake的一站式数据湖构建与分析实战
2.统一元数据服务 对象存储本身是没有面向大数据分析的语义的，需要结合Hive Metastore Service等元数据服务为上层各种分析引擎提供数据的Meta信息。数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
数仓规划概述
在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间的全局架构，以实现业务划分、资源管控、项目管理等目的：逻辑空间：基于业务特征划分命名空间...
快速入门
城市三维场景构建器组件提升了组件的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用城市三维场景构建...
产品概述
产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的，不光直接影响到终端用户的服务体验，同时也是业务数据的最后一道保险，所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...
绿地
数据 重新选择数据：在数据面板内可以单击下方 重新选择数据，打开 选择范围 对话框，重新选择仅针对绿地图层的数据范围，详情请参见 使用官方基底数据方式创建 中的选择场景范围区域的操作步骤。蓝图编辑器交互配置 在当前场景编辑器页面...
绿地
数据 重新选择数据：在数据面板内可以单击下方 重新选择数据，打开 选择范围 对话框，重新选择仅针对绿地图层的数据范围，详情请参见 使用官方基底数据方式创建 中的选择场景范围区域的操作步骤。蓝图编辑器交互配置 在当前场景编辑器页面...
- 产品推荐
- 这些文档可能帮助您