常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。...可能原因：您的RDS数据库与流计算项目不在同一区域。...参考文档：【流数据与大屏DataV】如何使用DTS，DataHub，StreamCompute，RDS及DataV搭建流数据大屏。
Confluent+数据洞察Databricks最佳实践
本文将向您介绍如何使用 流数据服务Confluent和数据洞察Databricks搭建自己的离线大数据计算平台。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程 已开通 Databricks 数据洞察服务，该服务为付费服务。已开通 OSS 对象存储服务...
RunCycleDagNodes
调用RunCycleDagNodes创建补数据工作流。补数据相关内容，详情请参见 补数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
数据归档
限流策略：配置行限流和数据大小限流。备注 可在 备注 文本框中输入不超过 200 个字符的描述信息，该项为选填项。单击 新建，完成新建数据归档。任务生成后可以在 工单>数据归档 列表中查看任务信息。查看数据归档任务 任务信息 在 任务...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
包年包月
本文介绍使用流数据服务Confluent包年包月模式下的注意事项。包年包月计费是一种需要先付费才能使用资源的计费方式，主要适用于长时间稳定的业务运行场景。您需要根据实际业务量分析资源的使用需求，一次性支付一个月或者多个月的费用。...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
CREATE STREAM
数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT EXISTS)table_name('(' tableElement(',' tableElement)*')...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
开通消息引擎
在 选择数据引擎 部分，按需选择 流数据节点规格 与 流数据节点数量。创建实例后开通消息引擎 在 实例列表 点击对应实例，进入 实例详情 页面，在左侧菜单选择 流引擎 标签页，点击 立即开通 按钮。在购买页面按需选择 流数据节点规格 与 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
将时空数据写入宽表引擎
value_format 是 指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data ...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 TDengine 不...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
功能特性
基于此，DataHub新上线的订阅服务提供了服务端保存用户消费点位的功能，用户只需要通过简单的几步配置，然后在自己的应用逻辑里添 创建订阅 删除订阅 查看订阅 数据流消息管理 数据流消息管理 对Project、Topic、shard、group的管理与操作...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
数据导入概览
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
- 产品推荐
- 这些文档可能帮助您