背景信息以及准备工作
在使用DLA对OSS中的历史数据按天进行清洗时，由于数据清洗的SQL是固定的，只是每次执行的时候需要传入不同的日期，因此我们可以通过DataWorks来循环调度DLA数据清洗任务。针对上述场景，我们需要在DataWorks中完成以下工作：部署一个赋值...
场景2：依赖上一周期的结果时，如何配置调度依赖
业务场景：本周期该节点是否进行数据清洗取决于下游节点上一周期对本节点的结果表（即本节点输出表）数据清洗的结果。如果下游节点的上一周期运行成功，本周期的节点实例开始运行，否则将不能运行。xc_create选择依赖一层子节点。运维中心...
作业开发入门概述
ADS：数据应用层，面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时，需要选择对应的引擎和资源组。详情请参见 功能说明。Spark SQL作业开发流程如下...
场景：节点成环
场景示例：如下图场景，若上游节点A查询表C数据并产出表A数据，下游节点B对表A数据进行清洗写入表B，紧接着节点C对表B数据进行清洗又重新写回表C，这种情况下自动解析会生成环。解决方案：分析业务流程，去除成环依赖。如下图案例，如果...
数据传输作业：数据集成
一个实时同步任务支持多个转换插件进行数据清洗，并支持多个写入插件实现多路输出功能。实时同步支持单表实时增量数据同步至MaxCompute单表、分库分表实时增量数据同步至MaxCompute单表、整库（多表）实时增量数据同步至MaxCompute多表。...
22.8版本新特性概览
本文介绍 云数据库ClickHouse 22.8版本推出的新特性。日期和时间类型扩展 扩展 Date32 和 DateTime64 类型，将日期支持范围从之前版本的...用户自定义函数：支持SQL模式和脚本模式的用户自定义函数，提高了用户自主进行数据清洗和处理的能力。
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
数据开发：开发者
说明 使用DataWorks节点进行数据开发时，通过开发节点清洗数据，再将清洗结果存放至结果表。建议您将结果表名称作为节点的名称，以便快速定位该节点产出的表数据。步骤四：编辑节点 在业务流程目录树或业务流程面板中找到步骤三创建的节点...
数据集成概述
一个实时同步任务支持多个转换插件进行数据清洗，并支持多个写入插件实现多路输出功能。同时针对某些场景，支持整库实时同步全增量同步任务，您可以一次性实时同步多个表。详情请参见 实时数据同步。全增量同步任务简介 实际业务场景下，...
数据准备快速入门
因此，Quick BI引入数据准备模块，通过轻量ETL对数据源表或者数据集进行清洗加工处理，加工之后的数据重新写回到数据源表或者数据集中，再进行数据建模和数据深度分析。您可以按照以下步骤完成快速入门。输入数据 配置节点 连接节点 输出...
ODPS-0123091
解决方案 检查输入数据，必要时先对输入数据进行清洗处理。假如想忽略错误，可以将当前处理模式修改为非严格模式。Query示例-准备数据 odps>create table mc_test(a string);odps>insert overwrite table mc_test values('100'),('-');设置...
概述
首先，数据工程师通过手工编写流程进行数据清洗和数据集成；然后，算法工程师通过自定义的特征工程流程、模型训练脚本以及定时任务脚本进行周期性的生产特征和模型；最后，开发工程师负责模型的上线、稳定性保证和监控运维。这就导致了不同...
应用场景
在EMR集群中，利用Hive和Spark对原始数据进行清洗和加工，提取业务所需的指标，例如日活跃用户、用户留存、某SKU的新增订单等。白天可以通过弹性伸缩机制，只保留部分节点。同时，可以启动一个包含Trino或Presto的环境，以满足白天数据分析...
Java API
HBase原生提供Java API进行数据访问管理，本文介绍Java API的基本使用示例。准备工作 有关Java API的更多内容请参考 Apache HBase API 手册。如果您使用的是HBase标准版，基本环境的配置方法请参见 使用Java Client访问。如果您使用的是...
产品简介
如下图所示，用户通过DLA Ganos可以加载OSS上的GeoTiff文件为RDD模型，然后写入Lindorm（HBase）等存储系统实现数据归档，同时也可以同时加载多个数据源（PolarDB或Lindorm）的时空数据，进行清洗转换，并通过机器学习等工具进行分析计算，...
DataWorks快速入门指引
30分钟 简单用户画像分析（MaxCompute版）DataWorks、MaxCompute、RDS、OSS 以用户画像分析为例，进行数据采集、清洗加工、质量监控、可视化展示的全流程操作。60分钟 零售电商数据建模 DataWorks、MaxCompute 以电商场景为例，进行数据...
2.0数据类型版本
禁用类型可以通过CAST函数强制进行数据类型转换。VARCHAR类型常量可以通过隐式转换为STRING常量。表、函数以及UDF 参数涉及2.0数据类型的内置函数，在2.0数据类型版本下可以正常使用。UDF包含的数据类型都会按照2.0数据类型进行解析重载。...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
数据加工过程卡点校验
数据在数据仓库中进行清洗、加工、整合、算法和建模等一系列运算后，再通过同步工具输出到数据产品中进行消费。整个流程中，先有数据加工，才有数据仓库模型和数据仓库代码的建设。因此，保障数据加工过程中的质量是保障离线数据仓库整体...
创建数仓分层
数仓分层是结合对业务场景、实际数据、使用系统的综合分析，对数据模型进行的整体架构设计及层级划分。用于将不同用途的数据，归类划分至不同的分层，便于您更好地组织、管理、维护数据。本文为您介绍如何创建并管理数仓分层。背景信息 ...
连接PostgreSQL实例
} } } 第三方报表工具连接 Microsoft Power BI RDS PostgreSQL支持接入 Power BI，在Power BI中对数据进行获取、清洗、建模和可视化展示等操作，实现数据分析。下文以 Power BI 2.112.1161.0 64-bit 版本为例，介绍如何连接RDS PostgreSQL...
应用场景
2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步分析做准备。2.2 收益 实时ETL 接入多种数据源，实时进行清洗、过滤、关联与...
连接PostgreSQL实例
} } } 第三方报表工具连接 Microsoft Power BI RDS PostgreSQL支持接入 Power BI，在Power BI中对数据进行获取、清洗、建模和可视化展示等操作，实现数据分析。下文以 Power BI 2.112.1161.0 64-bit 版本为例，介绍如何连接RDS PostgreSQL...
CDH Hive数据抽样采集器
如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍如何新建CDH Hive数据抽样采集器。前提条件 已购买并创建DataWorks的独享调度资源组。详情请参见：新增和使用独享...
使用流程
快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与计算，帮助您掌握DLA的基本使用流程。如果您是首次使用云原生数据湖分析DLA的用户，我们建议您先阅读以下部分：产品简介-本内容概述了云原生数据湖分析DLA的...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
产品功能
您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降采样、空间聚合的可视化数据查询展现。数据管理 数据时效设置 您可以通过控制台或者 API 设置数据的有效期。数据时效开启并设置完成后，系统对于定义的过期数据将立即标记失效...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
Quick BI如何接入TSDB
通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在Quick BI上进行数据的分析与展示。前提条件 已创建阿里云时间序列数据库实例。背景信息 为避免因数据源白名单限制导致数据对接访问失败，您需将Quick BI...
引擎功能
数据查询 支持通过SQL进行数据查询，兼容基于OpenTSDB协议的查询API等方式进行数据查询。用户也可以通过产品控制台的数据查询功能进行数据分组、降采样、空间聚合等可视化数据查询展现。数据管理 数据库管理 时序数据的存储以Database为...
数据归档至DBS内置OSS
您可以在SQL窗口中进行数据查询，在任务编排中进行数据分析与数据开发。说明 录入DMS实例，请参见 云数据库录入。可选：数据归档成功后，您可以进行源表数据删除和空间优化。清理源表数据：通过新建普通数据变更工单清理数据库中已归档的...
导入数据
说明 支持进行数据导入的云计算资源有：RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作...
导入数据
说明 支持进行数据导入的云计算资源有：RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL、Hologres。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
数据集成：全领域数据汇聚
核心技术与架构 引擎架构 采用星形引擎架构，数据源接入数据集成后，即可与其他各类型数据源组成同步链路进行数据同步。当前支持的数据源请参见 支持的数据源与读写插件、实时同步支持的数据源。数据集成资源组与网络连通 如上图所示，进行...
使用SQL访问HBase表
如果使用其他语言，您可以参考Java类org.apache.hadoop.hbase.util.Bytes中的toBytes方法对数据进行编码写入。Java中Bytes.toBytes(String)采用UTF-8编码，其他语言利用toBytes将String转成Bytes时，也需要使用UTF-8编码。数据准备 以HBase...
MySQL节点
您可以通过创建MySQL节点，直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。前提条件 MySQL节点仅支持使用独享调度资源组，独享调度资源组的使用请参考文档：新增和使用独享调度资源组。已通过连接串...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB 版 实例，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何为Quick BI添加 云数据库 SelectDB 版 数据源。前提条件 已为 云数据库 SelectDB 版 实例 申请公网地址。具体操作，请...
使用SQL访问HBase表
如果使用其他语言，您可以参考Java类org.apache.hadoop.hbase.util.Bytes中的toBytes方法对数据进行编码写入。Java中Bytes.toBytes(String)采用UTF-8编码，其他语言利用toBytes将String转成Bytes时，也需要使用UTF-8编码。数据准备 以HBase...
数据方案概览
数据变更 普通数据变更 支持数据库进行数据更新。无锁数据变更 将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理，可以根据...
接入数据库
步骤二：连接数据库 完成数据库实例授权后，您可以根据数据库类型参考以下步骤连接数据安全中心与数据库，以便数据安全中心能访问数据库进行数据识别和脱敏。RDS、PolarDB、PolarDB-X 返回 资产中心 页面。在左侧产品名称导航栏，单击...
- 产品推荐
- 这些文档可能帮助您