数据库与web开发技术-数据库与web开发技术文档介绍内容-阿里云

DataWorks On MaxCompute使用说明

费用说明 数据库费用数据同步时，读写上下游数据库中的数据，可能会产生数据库费用。计算和存储费用运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。例如，运行一个MaxCompute的SQL任务，新建表并写入表数据，可能会产生...

创建Hologres数据源

数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供Hologres任务的开发与调度能力，若您需要基于该Hologres数据源进行Hologres任务开发，或周期性调度Hologres相关任务，需先...

查看数据开发操作记录

进入数据开发DataStudio 登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。查看操作历史在数据开发DataStudio左侧边栏点击图标进入操作历史页面，可通过操作类型、...

创建ClickHouse数据源

您可登录云数据库ClickHouse控制台，获取相关数据库及端口信息。用户名访问ClickHouse集群的用户名。密码访问ClickHouse集群的用户密码。认证选项选择后续访问ClickHouse集群时是否需要SSL认证。开启该认证服务后，ClickHouse数据源不...

模型目录

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据开发>DATABLAU。选择模型目录页签，在模型目录页面中查看模型的详细信息。...

数据下载

在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件已通过如下模块...

ClickHouse SQL

您需先将您的ClickHouse数据库创建为DataWorks的ClickHouse数据源并绑定至数据开发（DataStudio），才可通过ClickHouse数据源访问ClickHouse数据，进行后续的开发操作。详情请参见创建ClickHouse数据源、开发前准备：绑定数据源或集群。已...

权限管理与规范化数据开发

在标准模式工作空间下，一个DataWorks空间下层对应两个MaxCompute项目（或两个EMR集群、Hologres数据库等），一个视为开发（DEV）环境，一个视为生产（PROD）环境。权限概述在简单模式空间下，DataWorks的“开发”角色因为与所绑定...

通用开发流程

创建并使用MaxCompute资源创建并使用自定义函数创建和使用EMR资源创建EMR函数步骤七：编辑节点代码根据节点类型，在节点编辑页面通过对应引擎与数据库语法编写业务代码。不同节点所使用的语法可能存在差异，具体请以实际使用为准。...

DataWorks On CDP/CDH使用说明

费用说明 数据库费用数据同步时，读写上下游数据库中的数据时，可能会产生数据库费用。计算和存储费用运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。网络服务费用连通DataWorks和其他相关产品的网络环境时，可能会产生网络...

准备数据

默认数据库名 数据库的名称。用户名 数据库对应的用户名。密码 数据库对应的密码。认证选项选择无认证。单击对应资源组后的测试连通性。测试连通性通过后，单击完成。新建业务流程单击当前页面左上角的图标，选择全部产品>数据开发与...

提交并发布模型

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。查看数据模型。在左侧导航栏，单击模型管理。说明如果左侧导航栏未显示模型管理图标，您可在DataStudio界面左侧...

执行冒烟测试

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。开启强制冒烟测试空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作空间任务发布前需要...

创建Hologres外部表

提交到开发环境提交表至DataWorks的开发环境，即在开发环境所绑定的Hologres数据库创建当前表。提交后您可在DataWorks数据开发相应业务流程（即创建表时所选的路径）的Hologres目录，查看该表结构。从生产环境加载用于从生产环境加载生产...

进入数据质量概览（旧版）

查看数据质量概览登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上角的图标，选择全部产品>数据质量，默认进入概览页面。模块描述我的订阅为您展示当前...

场景：数据开发定制化展示

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。调整DataStudio左侧导航栏模块（即区域2展示的功能）。新用户可根据区域1的提示，在DataStudio界面...

代码搜索

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在数据开发目录树区域，单击顶部菜单栏的图标，进入代码搜索页面。配置搜索条件并查看搜索结果。...

场景：工作空间模式升级（简单模式升级标准模式）

非MaxCompute数据源：复制一份生产环境的数据源至开发环境，即开发环境和生产环境将操作同一个库。说明本文主要针对MaxCompute简单模式升级标准模式的场景进行说明。类别升级前升级后数据源一个新增开发环境数据源，开发环境和生产...

敏感数据概况

操作步骤登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据治理>数据保护伞，单击立即体验，进入数据保护伞。单击左侧导航栏的 ...

创建解决方案

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。开启解决方案配置。在左侧导航栏底部，单击图标。在设置页面的个人设置页签，勾选显示解决...

安装宽表SQL Driver

数据库驱动 Lindorm面向目前主流的应用开发语言分别提供了以下数据库驱动（Database Driver，可以简单理解为执行SQL的SDK）。Java Lindorm面向Java语言应用开发提供了遵循 JDBC 接口规范的Driver。关于该Driver的安装和使用，请参见使用...

通用参考：切换资源组

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。修改数据集成资源组。离线同步任务单个任务修改在左侧导航栏，单击 数据开发，找到目标离线同步...

DataWorks On EMR使用说明

费用说明 数据库费用数据同步时，读写上下游数据库中的数据时，可能会产生数据库费用。计算和存储费用运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。网络服务费用连通DataWorks和其他相关产品的网络环境时，可能会产生网络...

创建Hologres内部表

提交到开发环境提交表至DataWorks的开发环境，即在开发环境所绑定的Hologres数据库创建当前表。提交后您可在DataWorks数据开发相应业务流程（即创建表时所选的路径）的Hologres目录，查看该表结构。从生产环境加载用于从生产环境加载生产...

入门实践

基于DataWorks的数据建模流程如下：空间管理员角色创建数据标准模型设计师角色创建数据模型模型设计师角色修改数据模型模型设计师角色保存模型至模型库开发角色提交模型至开发环境计算引擎运维、部署或空间管理员角色发布模型至生产...

MaxCompute函数管理

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。展开左侧导航栏中的 MaxCompute，单击 MaxCompute函数。MaxCompute函数默认按照创建时间倒序排列，...

数据开发概述

DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...

创建数据脱敏场景

该场景下，数据在存储过程中便会按照配置的脱敏规则识别敏感数据并将其脱敏，脱敏完成后再将数据存储至指定数据库位置。权限控制新增、编辑、删除脱敏场景：租户管理员、租户安全管理员可选择的数据范围为租户下所有项目空间。空间管理员...

创建业务流程

您可以在数据集成下，通过离线同步和实时同步组件节点，来将某个数据库的数据同步到另一个数据库。您可以基于业务流程对应引擎分组下的数据开发节点来进行具体的数据清洗工作，例如MaxCompute引擎下的ODPS SQL节点，如果代码开发过程中需要...

数据开发：开发者

说明目前DataWorks的节点分为数据同步类型节点与计算类型节点两大类，实际开发过程中，您通常需要先通过离线同步任务将业务数据库中的数据同步至数仓中，再通过DataWorks计算节点对数仓中的表数据进行清洗加工。创建节点。您可通过如下两...

创建EMR Hive节点

您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...

首页

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据建模>数仓规划，默认进入数仓分层页面。单击顶部菜单栏右侧的首页，进入智能...

创建并使用MaxCompute表

进入数据开发（DataStudio）登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。新建MaxCompute表您可在DataWorks表管理目录中新建，也可在具体业务流程下，针对该业务...

编辑器代码提效

进入编辑器界面登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。进入节点的代码编辑器。在 数据开发 页面的左侧目录树查找目标节点，双击节点名称即可进入节点编辑页面...

创建并管理MaxCompute节点

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。以ODPS SQL节点为例，为您介绍创建节点的操作。右键某个业务流程，选择新建节点>MaxCompute>ODPS SQL。说明您也可以...

通过样本库识别

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据治理>数据保护伞。单击立即体验，进入数据保护伞。在左侧导航栏，单击规则...

设置主动防御

通过将流量分层的方式，结合主动防御与Web应用防火墙的其他安全检测体系，为域名提供更加全面的攻击防护。操作步骤登录 Web应用防火墙控制台。在顶部菜单栏，选择Web应用防火墙实例的资源组和地域（中国内地、非中国内地）。在左侧导航栏...

数据脱敏能力概述

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据治理>数据保护伞，单击立即体验，进入数据保护伞。说明若...

下载建模工具（DDM）

DDM是数据建模DATABLAU支持的线下客户端，您可以使用DDM客户端进行自定义数据标准、创建模型和管理模型库等操作。数据建模前，您需要先下载并安装DDM，为后续的建模操作准备好工具。本文为您介绍如何下载DDM建模工具。前提条件开通数据...

对接使用CDH与CDP

以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...

数据库与web开发技术

新品推荐