数据开发与运维中心:数据加工

DataWorks 数据开发(DataStudio)是数据加工的开发平台,运维中心 是智能运维平台,基于这两个功能模块,您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...

概述

数据开发 核心功能如下:文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发:周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表,加速...

数据下载

在DataWorks的数据开发(DataStudio)、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能,您可将所需历史下载文件重新下载至本地使用,也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...

创建ClickHouse数据

后续操作 数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供ClickHouse任务的开发与调度能力,若您需要基于该ClickHouse数据源进行ClickHouse任务开发,或周期性调度...

创建AnalyticDB for MySQL3.0数据

若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...

创建AnalyticDB for PostgreSQL数据

若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...

用户授权与管理

角色规划 使用数据建模并应用至数据开发的过程中,通常需要进行定义标准、数据建模、数据开发、部署运维等任务,下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限 建议您参考 ...

HoloStudio一键迁移至DataStudio

为给您提供一致的开发体验,HoloStudio产品能力将整合至DataStudio中,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。在指定时间内,您可参考本文手动迁移HoloStudio的已有文件至DataStudio;超过该时间,系统将自动为您完成...

创建数据脱敏场景

脱敏场景介绍 DataWorks提供 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏,及 数据集成静态脱敏 等一级脱敏场景为固定场景,不支持执行新增、编辑、删除等操作。同时,DataWorks...

Quick BI v4.3.4版本说明

发布日期 2022年07月14日 重点升级概览 数据大屏 图表新增色彩地图、形状组件。各组件支持点击添加。素材增加自适应规则以及二级导航。Quick引擎支持PostgreSQL数据源。新版电子表格 查询控件支持清空和重置。增加扩展冲突位置提示、支持...

概述

DataWorks为您提供了多个实验教程,帮助您从前期的环境准备、数据采集,到后期的数据开发、结果展示,端到端了解DataWorks使用的全流程,更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下:简单开发应用教程 简单用户画像分析...

在工作空间创建数据源或注册集群

工作空间创建完成后,您需要先将您的数据库或数据仓库,通过创建数据源的方式添加至DataWorks工作空间,或将您的集群注册至DataWorks工作空间,以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例,为您...

基于模型生成ETL代码

维度表、明细表、汇总表等模型表发布后,DataWorks智能数据建模的模型开发功能支持快速生成代码框架,帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布,操作详情请参见 发布模型至引擎...

创建手动任务

您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务,并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎,您可选择 新建临时...

数据使用诊断

DataWorks的数据使用诊断,为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力,以及诊断相关安全问题的最佳实践及解决方案,帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...

任务调试流程

调试运行单个任务 数据开发概述,在左侧导航栏的数据开发或手动业务流程模块,双击业务流程目录下的目标节点,进入该节点的编辑页面。调试运行任务。在节点编辑页面,使用节点工具栏中的运行或高级运行调试代码逻辑,也可通过快捷运行调试...

技术架构选型

本教程中使用阿里云数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个数据开发过程中的离线计算引擎。...

必读:简单模式和标准模式的区别

绑定后不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源(实例,项目、数据库)操作生产环境数据源(实例,项目、数据库)运维中心 开发环境运维中心:操作...

流程管控

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

应用示例:数据开发过程触发事件检查

DataWorks的数据开发模块,支持扩展点事件包括文件发布前置事件、文件提交前置事件、表提交前置事件等。扩展点事件的概念和详细列表请参见 支持的扩展点事件列表。DataWorks支持对扩展点事件进行消息通知,通过扩展程序来自动化校验并响应...

运行历史

查看运行历史 登录DataWorks控制台,单击相应工作空间后 数据开发。单击左侧导航栏中的 运行历史,切换至运行历史面板(默认展示全部状态)。从状态列表中,选择需要查看的相关状态的任务。单击需要查看的运行记录,即可在右侧查看运行...

DataWorks HoloStudio下线公告

为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...

DataWorks OpenAPI概述

1级 UpdateIDEEventResult 用于在数据开发过程中触发扩展点时,通过调用UpdateIDEEventResult接口,将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。2级 GetIDEEventDetail 调用GetIDEEventDetail,根据DataWorks开放消息...

Quick BI v4.3.3版本说明

发布日期 2022年06月21日 重点升级概览 首页企业门户、类目管理支持仅...例如,对于数据量过的API接口,您可以通过分页的方式请求,提供一个动态参数${PageIndex} 进行传参。说明 仅当第一个参数值为${PageIndex} 时,设置的分页才会生效。

HoloStudio(即将下线)

为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路数据开发治理平台,为了便于新用户快速了解DataWorks的数据开发治理操作全流程,DataWorks为您提供了...

常见问题

Quick BI是中心化部署,当部署在杭州时:中国内地其余地域的中国站版本都可以不分地域。中国香港、中国澳门、中国台湾及海外已部署Quick BI国际站的版本会区分地域。Quick BI国内版是否支持多国语言切换?支持切换 简体中文 为 English。...

用量分析

功能入口 入口一 入口二 面板内容介绍 资源总览 展示整个 组织 内的 资源总数、数据准备 以及 数据大屏 的已购买的使用量/总量。说明 数据准备、数据大屏 若未购买可点击“立即购买”前往弹窗页面进行购买。资源数量较多的情况下,可以点击...

互联网、电商行业离线大数据分析

方案优势 规模存储:超大规模存储且自动扩容,最大可以支持EB级别的数据。高性能:性能更加高效、稳定。低成本:与自建数据库进行分析相比,成本更低。安全:原生的多租户系统,以工作空间进行隔离,所有计算任务在安全沙箱中运行。可视...

作品复制管控

对于安全要求比较高的企业,默认允许复制数据可能带来较大的数据安全问题。Quick BI推出作品复制管控功能,组织管理员可以设置开启或关闭数据作品的复制功能,帮助您有效防止数据泄露。本文为您介绍如何进行作品复制管控。使用限制 仅组织...

什么是Quick BI

Quick BI是一款全场景数据消费式的BI平台,秉承 全场景消费数据,让业务决策触手可及 的使命,通过智能的数据分析和可视化能力帮助企业构建数据分析系统,您可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有分析思路...

概述

本文为您介绍数据大屏的界面区域及功能入口。界面区域介绍 工具栏 在工具栏,您可以自定义大屏名称、收藏、撤销、重做、协同授权、抢锁、帮助、调整比例等操作。组件库 提供6种类型的图表,以及丰富的文本、媒体、交互控件、素材,满足多样...

开发前准备:绑定数据源或集群

若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)模块。绑定后,才可读取数据源或集群中的数据,并进行相关开发操作。前提条件 您需根据后续要开发和调度...

新建数据大屏

前提条件 已登录Quick BI控制台,进入数据大屏页面。调整页面样式 调整大屏尺寸 设置全局样式 设置全局滤镜 设置页面轮播 配置图层组 画布中的1个元素为1个图层,本节介绍如何配置图层组,并开启图层轮播。在头部导航栏中,把需要的组件...

数据开发和生产环境隔离

数据源隔离模式可以满足标准模式下,开发环境和生产环境的数据隔离需求。背景信息 同一个名称的数据源存在开发环境和生产环境两套配置,在配置数据源时,您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景,针对不同环境设置...

通用数据开发

数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步不同业务系统的数据至MaxCompute中,方可通过MaxCompute的海量数据...

MaxCompute函数管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。展开左侧导航栏中的 MaxCompute,单击 MaxCompute函数。MaxCompute函数默认按照创建时间倒序排列,...

划分数据

在划分数据域时,既能涵盖当前所有的业务需求,又能让新业务在进入时可以被包含进已有的数据域或扩展新的数据域。数据域的划分工作可以在业务调研之后进行,需要分析各个业务模块中有哪些业务活动。数据域可以按照用户企业的部门划分,也...

创建Redis数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

创建Redis数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 DBS 智能商业分析 Quick BI 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用