MaxFrame概述

背景信息 为满足用户基于MaxCompute进行大规模数据处理、分析及数据挖掘的需求,MaxCompute提供了一套Python开发生态,通过统一的Python编程接口完成数据分析处理及挖掘、建模全生命周期。MaxFrame是由阿里云自研的分布式计算框架,提供...

节点类型说明

本文按照节点离线、在线和流式的分类,分别介绍各节点类型对应能处理数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息,请参见 离线类...

数据科学计算概述

为满足用户基于MaxCompute进行大规模数据处理分析、挖掘及模型训练的需求,MaxCompute提供了一套Python开发生态,让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...

引擎简介

云原生多模数据库 Lindorm 流引擎面向实时数据处理场景,支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理,适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...

产品功能

数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从文件中导入(包括从CSV文件或压缩包文件)、从数据库SQL表导入。未来还将支持直接从阿里云对象存储服务OSS中导入数据或借助DataWorks工具进行各种格式的数据导入。数据解析 GDB ...

我是普通用户

数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时,可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...

LogHub(SLS)实时ETL同步至Hologres

数据输出预览 窗口,您可以根据需要修改输入数据,或单击 手工构造数据 按钮自定义输入数据,再单击 预览 按钮,查看当前数据处理节点对数据处理结果,当数据处理节点对输入数据处理异常,或产生脏数据时,也会反馈出异常信息,能够...

我是安全管理员

数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时,可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...

有数BI

AnalyticDB MySQL版 支持您将 AnalyticDB MySQL版 数据接入网易有数BI,帮助您轻松完成数据分析数据可视化工作。本文为您介绍如何使用网易有数BI连接 AnalyticDB MySQL版,并进行可视化数据分析。前提条件 在执行操作前,请确认您已满足...

全景视角

背景信息 为提高不同使用场景下的数据治理效率和质量,DataWorks为您提供以下视角:数据管理视角:在数据资产管理、数据安全加固、数据权限管理等数据管理场景下,建议您使用数据管理视角,关注查看数据管理过程中,表的统计数据、安全权限...

我是DBA

数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时,可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...

我是管理员

数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时,可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...

流程控制

各方法按照顺序进行数据处理。执行 输入上游节点的输出结果,用于该节点的结果计算。配置项说明 参数 说明 处理方法 通过新增数据过滤器的方法编写处理方法,返回结果为Boolean型。return true为满足该处理方法的条件,return false为不...

教程概述

本案例使用阿里云DTS将您的增量数据同步到DataHub上,再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算,并将结果插入到RDS数据库中,最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导,业务场景和数据与实际情况会有...

数据上传

DataWorks的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。使用限制 目前仅支持基于 本地...

作业开发入门概述

ADS:数据应用层,面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时,需要选择对应的引擎和资源组。详情请参见 功能说明。Spark SQL作业开发流程如下...

Hive数据脱敏

在Ranger UI配置页面的 emr-hive 页签,您可以对Hive数据进行脱敏处理:支持多种脱敏处理方式。例如,显示开始的4个字符、显示最后的4个字符或Hash处理等。配置Mask Policy时不支持通配符。例如Policy中Table或Column不能配置星号(*)。每...

集成与开发概览

您可以通过流批一体的数据集成对在线数据进行入仓、加工处理,通过数据开发模块对数仓数据进行分层开发,之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用,建设属于...

数据服务概述

加工后的数据供应用读取 用户使用DMS数仓开发对数据进行加工汇总后,希望在应用中读取这部分加工后的数据进行业务处理,则可通过API的方式快速输出。当需要变更读取的逻辑时,只需要调整API的查询逻辑,而不需要重新发布应用。使用流程图 ...

功能简介

数据处理 支持倾斜数据处理能力,可以将OSGB格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

空间数据(邀测中)

数据处理 支持倾斜数据处理能力,可以将OSGD格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

数据脱敏

概念介绍 数据脱敏:在数据处理数据存储过程中,通过一定的算法和技术,将敏感数据进行加工处理、模糊化或替换,使得数据无法识别或难以还原,从而达到保护数据安全、防止数据泄露的目的。动态脱敏:对敏感数据进行实时的脱敏处理,只有...

数据脱敏

数据安全中心(Data Security Center,简称DSC)支持静态脱敏和动态脱敏,可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏:通过新增脱敏任务,使用脱敏算法对敏感数据进行遮盖、加密或替换,并将脱敏...

ADAM概览

异构数据库迁移ADAM(Advanced Database&Application Migration)提供数据库平滑迁云解决方案,全面评估上云可行性、成本和云存储选型,内置实施协助、数据迁移、应用迁移等工具,覆盖数据库迁移的全生命周期,帮助企业降低数据库和应用...

Trino概述

支持丰富的数据源:Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构,具体如下:数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强,提供了多种扩展机制:扩展数据连接器 ...

Presto概述

应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎,适合以下应用场景:ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Presto是一个数仓类产品,因为其对事务支持有限,所以不适合在线...

数据分析:即时快速分析

功能概述 数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。适用场景 适合更多非专业数据开发人员,如数据分析、产品、运营等工作...

文档修订记录

QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块,提供了便捷的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作,致力于为您...

Slowly Changing Dimension

步骤二:处理数据 您可以根据业务数据的情况,选择使用流式写入或者批量写入的方式进行数据的处理。示例中通过两次批量写入代替流式写入的方式模拟G-SCD on Delta Lake的数据处理。步骤三:验证数据写入结果 通过查询语句,验证数据是否...

Transaction Table2.0概述

现状分析 当前典型的数据处理业务场景中,对于时效性要求低的规模数据全量批处理的单一场景,直接使用MaxCompute足以很好的满足业务需求,对于时效性要求很高的秒级实时数据处理或者流处理,则需要使用实时系统或流系统来满足需求。...

数据保护伞入门

数据保护伞 是一款数据安全管理产品,提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能,帮助您快速梳理敏感数据进行安全管控,保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏,并...

数据预处理

对于文本数据而言,通常文本数据里面会含有很多跟任务无关的噪音,这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则,如果您觉得有必要进行处理,可以选择这些规则。我们内置的规则包括:去除 URL 链接;去除 emoji 表情...

基础折线图

本文介绍移动组件中基础折线图的图表样式和配置面板...导入基础折线图接口描述 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。

生成测试数据

背景信息 OceanBase 开发者中心(OceanBase Developer Center,ODC)提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下,能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...

基础折线图

本文介绍移动组件中基础折线图的图表样式和配置面板...导入基础折线图接口描述 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。

交叉透视表

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

基础散点图

本文介绍移动组件中基础散点图的图表样式和配置面板...导入基础散点图接口描述 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。

交叉透视表

[{"value1":632,"row1":"浙江省","row2":"绍兴市","column1":"家具","column2":"沙发"}]动作 动作 说明 请求透视表接口 重新请求服务端数据,上游数据处理节点或图层节点抛出的数据将作为参数。例如,交叉透视列表配置了API数据源为 ...

DataWorks数据集成

应用场景 AnalyticDB PostgreSQL版 可以通过数据集成的同步任务将数据同步到其他的数据源中(AnalyticDB PostgreSQL版 数据导出),并对数据进行相应的处理。可以通过数据集成的同步任务将处理好的其他数据数据同步到 AnalyticDB ...

代码智能推荐

用户可以在对话框中描述数据处理的需求,并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件(例如:柱状图)。单击右侧配置面板中的 数据源。在 数据源 配置...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 云数据库 Redis 版 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用