概述
问题背景 选择集中式数据库还是分布式数据库一直是数据库选型讨论的热点。对于大部分中小企业来说，集中式数据库就能满足其日常的业务需求，其资源规模适中，成本适中，运维起来也比较简单。分布式数据库具备较高的性能，能够处理复杂的...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
数据安全治理的常见思路
数据安全治理通常分为资产梳理及分类分级、风险评估、建设能力等三个阶段，您可参考本文了解各阶段的具体目标。数据安全治理通常会经历如下阶段。阶段一：摸清家底 梳理资产摸清家底，产出《数据资产清单》。例如：本企业有哪些数据？服务...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
API概览
企业版管理 API 标题 API概述 EnableDasPro 开启DAS企业版 V1 调用EnableDasPro接口，为指定数据库实例开启DAS企业版 V1。DisableDasPro 关闭DAS企业版 V1 调用DisableDasPro接口，关闭指定数据库实例的DAS企业版 V1。ModifySqlLogConfig ...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
发现并处理Redis的大Key和热Key
大Key和热Key产生的原因 未正确使用Redis、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：大key 在不适用的场景下使用Redis，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；...
创建同步任务
说明 流量度量值是数据集成本身的度量值，不代表实际网卡流量。通常，网卡流量是通道流量膨胀的1至2倍，实际流量膨胀取决于具体的数据存储系统传输序列化情况。错误记录数控制（脏数据控制）用于定义脏数据阈值，及对任务的影响。重要 当脏...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
选型配置说明
E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...
概述
因此，备份和恢复是数据库非常重要的功能。PolarDB 支持数据备份和物理日志备份。数据备份即将某个时间点上集群的全量数据生成一个备份集（快照），即全量备份；物理日志备份即记录生成备份集后的增量数据，即增量备份。通过一个完整的数据...
访问外部数据源
本文介绍如何在Databricks数据洞察实现访问外部数据源的需求。背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
DataWorks产品安全能力介绍
数据列级别多级审批：基于底层大数据引擎的访问控制列表与数据分级分类，DataWorks支持按项目与数据分级分类，定义数据列的权限申请及审批策略。说明 仅DataWorks企业版支持您根据业务需要自定义审批流程。数据质量规则：支持管理员配置...
InfluxDB®️介绍
云数据库 InfluxDB®版是一款专门处理高写入和查询负载的时序数据库，完全兼容开源InfluxDB 1.8版本，用于存储大规模的时序数据并进行实时分析，包括来自DevOps监控、应用指标和IoT传感器上的数据。主要特点 InfluxDB®是您处理时序数据的...
支持的数据源
DBS支持添加阿里云数据库、自建库、其他云厂商等各种环境中的MySQL、SQL Server、PostgreSQL、Oracle、MongoDB、Redis等类型的数据源。数据源是待备份的数据库或文件路径，数据源信息包含数据源名称、数据源所在地域、数据库类型、数据库的...
MaxCompute数据源
类型分类 数据集成配置类型 数据库数据类型 整数类 LONG BIGINT、INT、TINYINT和SMALLINT 布尔类 BOOLEAN BOOLEAN 日期时间类 DATE DATETIME、TIMESTAMP和DATE 浮点类 DOUBLE FLOAT、DOUBLE和DECIMAL 二进制类 BYTES BINARY 复杂类 STRING ...
伪类型
伪类型 名字 描述 any 表示一个函数可以接受任意输入数据类型 anyelement 表示一个函数可以接受任意数据类型 anyarray 表示一个函数可以接受任意数组数据类型 anynonarray 表示一个函数可以接受任意非数组数据类型 anyenum 表示一个函数...
使用ClickHouse-Local迁移上云
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
数据服务入门
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
修改名单抽奖数据
您还可以在组件 设置数据源 页面中，选择 数据源 类型为您自定义添加的动态数据源类型（如数据库、API等），使得数据接口获得的是整个抽奖池数据，即所有能参与抽奖的人员名单。通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平...
修改名单抽奖数据
您还可以在组件 设置数据源 页面中，选择 数据源 类型为您自定义添加的动态数据源类型（如数据库、API等），使得数据接口获得的是整个抽奖池数据，即所有能参与抽奖的人员名单。通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
颜色映射器使用说明
类型 说明 名词分类 适用于需要给名称和类别等分类型的数据，提供颜色上的区分。色板上各个颜色之间互相区分度较大。名词分类颜色模板样式 名词分类型数据示例图 数值连续 适用于给数值型数据分配连续渐变颜色的情况，且数值和颜色在映射...
功能概览
迁移不同企业版的SQL洞察和审计数据 企业版 V2相对于企业版 V1，变更了底层存储架构，通过冷热混合存储实现降本增效，使用成本低。而企业版 V3，在冷热混合存储的基础上，按使用的功能细分计费项，计费更加灵活，使用成本更低。当您的数据...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
散点层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
数据源分类
本文介绍DataV服务中数据源的分类，通过查看不同的数据源类型，在创建完成后可以快速查找。数据源类型 数据源名称 数据库 RDS for MySQL、RDS for PostgreSQL、交互式分析Hologres、RDS for SQLServer、AnalyticDB for MySQL、AnalyticDB ...
支持的数据脱敏算法
算法分类 分类描述 算法描述 输入参数 适用类型和典型场景 哈希脱敏 不可逆算法。适用于密码或需要通过对比进行敏感数据确认的场景。支持常见的哈希算法，并支持偏移量（加盐值）配置。MD5 Salt值 敏感类型：密钥类 适用场景：数据存储 SHA...
- 产品推荐
- 这些文档可能帮助您