DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系,同时提供优质高效的交流服务,本文为您介绍...

应用场景

互联网类应用 Cassandra能够支持并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用性和容灾能力。云...

数据标准

数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产,加速数据的融合与统一的效率,节省大量数据应用和处理的成本。完成以下操作实现数据标准落标:您可以在 字段编辑器 页面,编辑 中文名,输入拼音首字母即可快速检索出...

客户案例

打造离线实时一体化数据中台,构建统一、完整的大数据应用链路,服务内部几核心业务。全链路数据治理提高数据可用性,让数据在中台进行自由流动,保证数据准确、准时、一致,成本削减1亿元。提高业务迭代效率,数据更新频率由1天变成10...

通用数据开发

说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步...

审批中心概述

您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控,也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则,从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。...

概述

对接实时计算,用于业务数据驱动的智能运营、IoT、监控大屏等数据应用。数据同步,比如更新cache,同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更,您可以基于LindormStreams的这个功能构建自己的数据应用...

数据服务

面向数据资产管理者提供服务的统计分析、服务用量统计分析,实现数据中台建设后半场“数据应用”的有效落地,支撑数据智能应用的高效开发。前提条件 已根据快速入门教程完成加载样例数据操作,具体信息请参见 样例数据。已根据快速入门教程...

核心能力

数据资源平台提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

数据集成概述

背景信息 面对各行各业对大数据应用数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

典型使用场景

HBase具有高吞吐,低延迟,schemaFree,水平扩展等能力,被很多大数据应用选择。而接合LindormStreams+Blink/Spark,可以构建出一套完整的实时数据系统:应用解耦-实时同步到消息队列 通常业务发生之后,应用系统产生的数据需要被其他...

01创建解决方案

应用、服务、数据源等资源生成整体解决方案包,便于在其他系统或工作组中快速部署。本文以按应用关联为例,介绍如何创建解决方案。前提条件 已创建“信息中心(xxzx)”工作组,具体操作,请参见 新建工作组并添加成员。线上场景已上线,...

快速体验

说明 本次实验数据仅作为阿里云数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。技术选型 数据建模:数据开发治理平台 DataWorks数据建模(可选),标准版及以上版本可使用,需要单独购买。原始数据存储:云...

产品优势

数据安全中心DSC(Data Security Center)可扫描和识别海量数据,帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品,可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...

概述

Flink(VVR)完全兼容开源Flink,相关内容请参见如下文档:DataStream API Table API&SQL Python API 使用场景 Flink广泛应用大数据实时化的场景,本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度,Flink主要用于以下...

添加宜搭数据

宜搭是阿里巴巴自研的低代码应用构建平台,您可以通过可视化拖拽的方式,快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法,以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...

添加宜搭数据

宜搭是阿里巴巴自研的低代码应用构建平台,您可以通过可视化拖拽的方式,快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法,以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...

时序引擎应用开发简介

使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口,对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序,您可以按照以下步骤进行应用迁移:应用适配 修改应用程序中的连接字符串,连接的目标从原有的...

查询物理表数据

数据查询提供通过SQL查询预览数据资源,为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源,具体操作,请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角,...

开始监控除Java之外的应用

通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过OpenTelemetry上报Node.js应用数据 通过SkyWalking上报Node.js应用数据 接入Node.js应用.NET应用 通过OpenTelemetry上报.NET应用数据 通过Jaeger上报.NET...

查看敏感数据识别结果

仅支持在 结构化数据、半结构化数据、非结构化数据大数据 分类下分别选择一个或多个数据类型,不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型,数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板:在 ...

数据服务概述

常见数据应用问题 一般从需求提出到需求交付分为:需求提出-需求分析-产品设计开发文档-开发人员进行开发-功能测试-功能上线-需求交付,整个过程需要安排迭代、开发、测试,时间周期约为两周,开发的接口针对性强,大多只能满足个别的业务...

数据服务概述

前提条件 已购买 数据服务 增值服务,开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为:需求提出-需求分析-产品设计开发文档-开发人员进行开发-功能测试-功能上线-需求交付,整个过程需要安排迭代、开发、测试,时间周期约为...

支持的云服务

AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)是海量数据实时高并发在线分析(Realtime OLAP)云计算服务,与MaxCompute结合应用大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘,产出高质量...

后续指引

介绍:数据迁移 实践:数据迁移最佳实践 常见问题:数据上传下载常见问题 规模数据迁移 MaxCompute提供MMA(MaxCompute Migration Assist)迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本,为您介绍各...

预览物理表数据

数据查询提供不同数据资源的预览,可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源,具体操作,请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

接入数据库

在使用 数据安全中心DSC(Data Security Center)检测云产品(包括OSS、RDS、PolarDB等)中存在的敏感数据或审计数据库活动前,您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情,请参见 支持的...

概述

EMR数据开发于2022年2月21日停止功能更新,2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能,推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks,详情请参见 EMR数据开发停止更新公告。

识别任务说明

文件或表扫描限制 为了避免数据源中文件或表过影响整体扫描进度,数据安全中心对可以扫描的文件大小或表的字段大小做了限制,请您在进行敏感数据扫描前了解以下规则:结构化数据(RDS MySQL、RDS PostgreSQL、PolarDB等)、大数据...

产品简介

大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户构建和持续优化的...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

相关的云服务

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

ETL工作流快速体验

案例提供的数据仅用于阿里云数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色,请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...

授权系统API

在OpenAPI场景,当外部应用需要对接 数据资源平台 组件的OpenAPI时,需要联系租户管理员,对外部应用调用 数据资源平台 组件的OpenAPI进行授权。本文介绍如何授权API。前提条件 已完成应用创建,具体操作,请参见 新建应用。如需进行API...

新建API归属应用

创建归属应用以备创建API时使用。本文介绍如何新建API应用。...已创建“信息中心(xxzx)”工作组,具体操作...配置项 示例 应用名称 全域数据平台 应用code qysjpt 应用描述 创建数据API归属的应用 预期结果 在 应用管理 列表可查看新建的应用

数据分析概述

DataWorks提供的数据分析平台,可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中,您不仅可以在线洞察数据,还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据管理 数据库备份 数据传输服务 数字证书管理服务(原SSL证书) 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用