数据模型
基本概念 物联网、应用监控、工业互联网等典型的时序场景下，数据源（Data Source）通常按一定的周期持续产生时序数据，一条时序数据由Tag、Timestamp、Field等元素共同来描述，具有相同特征的一类数据存放在同一张表中，表的时序数据元素...
国产化支持
针对数据库系统国产化，主要技术挑战有：基于国产化芯片的数据库架构升级和改造、对国产化操作系统的适配、对原有基于商业数据库应用生态的兼容和迁移。国产化数据库已经有比较长的发展历史，但目前整体的产品成熟度比较低、商业化市场规模...
时序引擎应用开发简介
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
安装Agent
Agent程序是数据库审计系统提供的功能插件，您需要在用户终端、目标数据库服务器或连接数据库的应用服务器上安装Agent，用于将数据库访问流量转发到审计系统。本文介绍安装及卸载Agent的具体操作。安装位置 根据待审计的数据库类型，您需要...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
X-Engine简介
造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定...
产品优势
海量存储，支持上百TB级别数据 采用分布式块存储设计和文件系统，使得存储容量不限制于单节点的规格，能够轻松扩展，应对上百TB级别的数据规模。高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）...
教程概述
本文档通过一个案例，演示了如何基于阿里云产品和服务实现设备数据在大屏上展示。本案例的原理如下：在设备端模拟两个字段，通过MQTT协议向阿里云物联网平台设备（高级版）发送数据。物联网平台接收到数据后通过规则引擎转发至DataHub。在...
技术发展趋势
如果没有工具来分析这些海量数据，企业无法在商业智能表上留下大量有价值的数据。因此，“数据多模”需求被逐步提出。传统大数据技术可以满足此类需求，但其发散的技术栈，不统一的使用习惯，都难以在广大企业内落地使用。因此急需统一、...
什么是EMR on ACK
对于已经将大数据任务（例如，Spark和Presto等）执行在ACK集群上的用户，EMR on ACK提供了自动部署和管理集群的能力。EMR on ACK与EMR Shuffle Service相结合，可以显著提升Spark任务的性能。形态 描述 EMR on ECS EMR负责将开源Hadoop生态...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示...不兼容：无法运行在目标数据库上的SQL，需要根据改造建议，修改应用代码或者SQL。应用改造点：展示应用需要改造的地方，并给出改造建议。目前提供了改造点摘要信息和改造点详情。
添加宜搭数据源
在宜搭应用的 应用设置 中的 应用数据 页签获取应用编码，如下图所示。应用密钥（必填）宜搭应用平台中已创建表单的应用密钥。在宜搭应用的 应用设置 中的 应用数据 页签获取应用密钥，如下图所示。表单ID（非必填）宜搭应用平台中已创建...
数据源管理
本文介绍数据源的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据源 具体操作请参见 添加数据源。搜索数据源 登录 DataV控制台。在 功能导航 模块单击 数据源，进入数据源管理页面。在数据源卡片页右上角可以做以下操作。...
数据集管理
本文介绍数据集的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据集 具体操作请参见 添加适配数据集。搜索数据集 登录 DataV控制台。在 功能导航 模块单击 数据集，进入数据集管理页面。在数据集卡片页右上角可以做以下操作...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
应用场景
RDS云数据库审计 通过在用户PC（该PC通过数据库运维工具直接连接RDS数据库）或访问数据库的应用系统服务器上部署Agent，获取访问日志数据用于日志审计，实现对RDS云数据库的审计。说明 关于数据库审计系统（C100）如何部署Agent，请参见 ...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
删除数据源
本文介绍在DataV中删除数据源的方法。警告 数据源删除后，不可恢复，请谨慎操作。操作步骤 登录 DataV控制台。在 我的数据 页签中单击 数据源...在 数据源管理 页面，将鼠标移至需要删除的数据源上。单击左侧出现的 图标，即可删除该数据源。
应用身份识别
B/S结构的应用需要在审计日志中记录数据访问者的真实信息。您的业务为B/S结构时，用户通过访问您的Web应用，Web应用再发起对数据库的访问，来完成一次数据请求。这种情况下，数据库审计系统审计到的请求均为Web应用发起的请求，无法溯源到...
编辑数据集
本文为您介绍在DataV中数据集管理面板内如何编辑已创建的数据集。背景信息 数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 ...
删除数据集
在 数据集管理 页面，将鼠标移至页面内某个待删除的数据集上，单击左侧的 图标。在弹出的确认删除对话框中，单击右下角的 确认 即可删除当前选中的数据集；单击 取消 即可取消删除该数据集。注意 数据集删除后，不可恢复，请谨慎操作。
数据导入概览
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
PolarDB Serverless实现了哪些突破
第一代云原生数据库的困境 早期的云上数据库，大部分是以ECS中的自建数据库和云厂商托管的数据库RDS的形态存在的，到目前为止还是有非常大的用户量。这些云上数据库架构使用的是传统数据库的架构，只是运行在云的基础设施上，数据库本身并...
功能特性
混合事务和分析处理（Hybrid Transaction and Analytical Process，HTAP）OceanBase 数据库独创的分布式计算引擎，能够让系统中多个计算节点同时运行 OLTP 类型的应用和复杂的 OLAP 类型的应用，让数据库利用率最大化的同时利用多个节点的...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
数据查询
使用预降采样查询提升查询性能 大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据...
备份集查询功能概览
工作原理 DBS与数据湖Data Lake Analytics深度集成，提供备份集在线查询能力，通过DLA直接对OSS上的备份数据文件进行查询。备份集查询功能的整体架构如下图所示。DBS也支持在单个备份计划下查询多个备份集。您需要选择目标备份集并创建数据...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
集群容灾能力
如果扫描到节点丢失，则节点上的所有数据也会快速复制恢复。在阿里云上，如果使用的是云盘技术，则每一个云盘在后台都会对应三个数据副本，当其中任一个出现问题时，副本数据都会自动进行切换并恢复，以保证数据的可靠性。Hadoop HDFS是...
独享数据服务资源组
为保证用户创建并封装在数据服务中的API在被外部应用调用时，能达到高QPS以及满足可用性保障，企业需要使用独享数据服务资源以确保调用的高效和可靠。独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
数据源配置常见问题
数据源类型 介绍 在DataV中的应用场景 API 通用的数据接口。如果您有直接可用的API，可使用DataV的API数据源连接。例如，已有站点提供的接口，或已购买的云服务搭建的接口等。具体使用操作请参见 添加API数据源。阿里云API网关 阿里云的一...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
DataWorks V3.0
发布版本：DataWorks V3.0 发布时间：2019年12月18日 发布范围：全球所有已开通DataWorks的地域 发布内容：DataWorks V2.0仅支持MaxCompute计算引擎，DataWorks V3.0全新升级了多引擎架构，在MaxCompute的基础上，新增开源大数据引擎E-...
- 产品推荐
- 这些文档可能帮助您