大数据信息-大数据信息文档介绍内容-阿里云

ListFileType

调用ListFileType查询任务节点的类型信息，包括类型Code和类型名称。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值 ...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...

查看监控报表

通过EMR Serverless StarRocks提供的监控报表功能，您可以实时获取并查看实例的运行状态及各项关键性能指标，从而实现快速问题定位。使用限制仅保存最近30天内的报表数据，超出此...资源组触发大查询限制次数当前资源组触发大查询限制次数。

提交作业和查看作业信息

本文为您介绍如何提交作业和查看作业信息。前提条件已登录集群，详情请参见登录集群。...如果需要查看更长周期内的统计信息，可以设置“spark.sql.streaming.numRecentProgressUpdates”为更大值，但会占用更多的内存。

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

JMX连接器

您可以通过JMX连接器查询Presto集群中所有节点的JMX信息。通过修改本连接器的配置，可以实现JMX信息定期转储的功能。本连接器通常用于系统监控和调试。前提条件已创建DataLake集群或Hadoop集群，并选择了Presto服务，详情请参见创建集群...

查看元数据

元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件已创建StarRocks实例，详情请参见创建实例。使用限制普通用户无法查看数据库大小、...

GetPackage-获取Package信息

200 errorCode string 错误码 040002 errorMsg string 错误信息异常信息 data object 返回数据 allowedProjectList object[]已经安装的项目列表 label string 指定安全许可标签级别 2 project string maxcompute 项目名称 proejctB ...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

EMR-5.5.x版本说明

本文介绍EMR-5.5.x版本的发布日期、更新内容和发行版本信息。发布日期版本日期 EMR-5.5.1 2022年3月25日 EMR-5.5.0 2022年2月15日更新内容 EMR-5.5.1 说明仅新版控制台的OLAP集群支持该版本。服务变更点 Clickhouse 修改了部分参数...

数据分析整体趋势

大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...

查看数据集

在数据预览页签，查看数据集的表数据信息。单击列名称后的图标，可对数据集列值进行排序或者筛选。在元数据页签，查看数据集表字段信息。当需要查看最新的数据时，在临时查询SQL编辑框菜单栏，输入查询脚本，单击图标，查看当前的表...

DataWorks模块使用说明

使用流程概览：参考文档：DataWorks数据建模子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...

受众与核心能力

产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...

存储说明

本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息关于存储的类型、性能和相关的限制信息，请参见什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...

敏感数据掩码

配置敏感数据掩码可以防止审计到的日志信息中包含敏感数据信息，使用掩码可以防止敏感信息在查询审计日志时泄露。本文介绍如何对审计到的客户敏感数据（例如：身份证号、银行卡号等）添加掩码“*”后再呈现。登录云盾数据库审计系统。具体...

GetRoleAcl-获取项目级角色ACL授权信息

异常信息 data object 返回数据。table object[]表 name string 表名称 tableA schemaName string Schema 名称。default actions array 表操作 string 表操作 describe resource object[]资源 name string 资源名称。resourceA schemaName ...

数据集成支持的数据源

离线集成支持的数据源数据源读取写入 大数据存储型数据源 MaxCompute 支持支持 Hive 支持支持 Hologres 支持支持 IMPALA 支持支持 TDH Inceptor 支持支持 Kudu 支持支持 StarRocks 支持支持 Hudi 支持支持 Doris 支持支持 ...

概述

DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理安全中心为您提供精细化的数据权限...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...

元数据采集

DataWorks数据地图为您提供元数据采集功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件您需要...

典型场景

大数据分析平台对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...

JindoFS实战演示

使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...

添加数据集

DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，...创建并保存完成后的数据集会自动排列显示在数据集管理页面中，每一个保存的数据集后面都会自动显示数据集内的数据信息数量。

新建数据源

背景信息数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。在左侧导航栏，单击图标，...

新建数据源

背景信息数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤登录企业数据智能平台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。在左侧导航栏，单击图标，选择 ...

数据服务

背景信息数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...

新建数据元

背景信息数据元（Data Element）：表示一个数据的最小信息项，包含基本的描述、值域范围和约束规则。一般用来表示具有相同特性数据项的抽象。例如：我们把“教育水平”作为数据元，数据元关联数据字典，字典的值域设置为：“研究生”、...

新建数据元

背景信息数据元（Data Element）：表示一个数据的最小信息项，包含基本的描述、值域范围和约束规则。一般用来表示具有相同特性数据项的抽象。例如：我们把“教育水平”作为数据元，数据元关联数据字典，字典的值域设置为：“研究生”、...

新建数据字典

背景信息数据字典（data dictionary）：即设计的数据模型中数据对象的描述信息的集合。创建好数据字典后，可以用来规范数据元、指标、维度等的值域范围。例如：我们把“研究生”、“本科”、”高中“、”小学“等这类词统一用“教育水平”...

新建数据字典

背景信息数据字典（data dictionary）：即设计的数据模型中数据对象的描述信息的集合。创建好数据字典后，可以用来规范数据元、指标、维度等的值域范围。例如：我们把“研究生”、“本科”、”高中“、”小学“等这类词统一用“教育水平”...

使用DMS和DG管理本地或第三方云数据库

页签名称参数名称说明基本信息数据来源选择数据库实例的来源。此处选择本地/他云数据库。数据库类型选择数据库实例的类型。实例地区选择数据库网关所在的地域。网关ID 选择数据库网关，如您还未创建数据库网关，可以单击点此添加...

步骤二：规划数仓

背景信息数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...

步骤二：规划数仓

背景信息数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...

数据标准概述

背景信息数据标准目标是为业务、技术和管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、...

数据标准概述

背景信息数据标准目标是为业务、技术和管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、...

编辑数据集

背景信息数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤登录 DataV控制台。选择我的数据页签，在左侧列表中单击数据集管理。在数据集管理页面，将鼠标移至页面内某个需要修改的数据集上，单击左侧的图标。...

大数据信息

新品推荐