数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
功能简介
准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据...
功能简介
准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据...
质量评估
准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据...
什么是数据资源平台
基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据管理平台。依托数据资源平台，可设计高质量的标准化数据模型，减少重复开发工作，用户可...
快速配置SSL加密
参数 说明 SSL mode 为了使用SSL安全连接，请配置Require、Verify-CA或Verify-Full连接方式，参数含义如下：Require：只对数据链路加密，并不验证数据库服务器的真实性。Verify-CA：加密数据链路，同时验证数据库的真实性。Verify-Full：...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
功能概述
由于压测工具对应的SQL与真实业务差距大，所以压测结果无法准确反映出真实业务场景下实例的性能和稳定性变化。DAS提供的智能压测，通过获取用户真实的业务流量，可以动态地复刻和放大生产系统的业务压力，结果更客观，更具有参考价值，可以...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
发现并处理Redis的大Key和热Key
对过期数据进行定期清理 堆积大量过期数据会造成大Key的产生，例如在HASH数据类型中以增量的形式不断写入大量数据而忽略了数据的时效性。可以通过定时任务的方式对失效数据进行清理。说明 在清理HASH数据时，建议通过 HSCAN 命令配合 HDEL ...
发现并处理大Key和热Key
对过期数据进行定期清理 堆积大量过期数据会造成大Key的产生，例如在HASH数据类型中以增量的形式不断写入大量数据而忽略了数据的时效性。可以通过定时任务的方式对失效数据进行清理。说明 在清理HASH数据时，建议通过 HSCAN 命令配合 HDEL ...
数据质量评估标准
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...
企业版和标准版功能对比
PolarDB MySQL版 企业版和标准版在功能上有很多差异，可分为集群管理、弹性管理、高性能、备份与恢复、高可用性、高安全、连接管理、高性价比、监控与优化、DB for AI、数据迁移&同步等11个类别。本文为您介绍这两个版本的功能区别，帮助您...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
产品优势
物联网平台无缝对接，生态丰富 开源产品，与云产品集成能力弱 存储成本 数据压缩 时序领域专用压缩，压缩率高 通用压缩，压缩率低 稳定性 数据读取 读写线程池分离，易于管理连接，读写稳定 读写耦合，容易造成连接数耗尽，读写失败概率大 ...
云数据库RDS简介
阿里云关系型数据库RDS（Relational Database Service）是一种安全稳定可靠、高性价比、可弹性伸缩的在线数据库服务。RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，...
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
产品架构
如下图所示，与传统方案相比，Lindorm系统极大地简化数据存储技术架构设计，大幅度提升系统稳定性，降低建设成本投入。总体架构 Lindorm创新性地使用存储计算分离、多模共享融合的云原生架构，以适应云计算时代资源解耦和弹性伸缩的诉求。...
迁移时源库为PostgreSQL的注意事项及限制
如果迁移的源数据库类型为PostgreSQL，如自建PostgreSQL、RDS PostgreSQL，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为PostgreSQL的迁移方案概览 根据迁移方案，查看迁移任务的注意...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
加强了数据库的安全性和可靠性，引入了更严格的访问控制策略和权限管理功能，保护您的数据免受潜在的安全威胁；改进了备份和恢复功能，使您能够更轻松地保护和恢复数据。升级到2.0版本还意味着您可以与PostgreSQL社区保持同步，提供更多的...
核心自治技术案例解析
传统的压测方案大部分基于现有的压测工具，如sysbench、TPCC等，其最大的问题是这些压测工具对应的SQL与真实业务差距太大，压测结果无法准确反映出真实业务的性能和稳定性。DAS提供的智能压测服务是基于用户真实业务的workload，因此压测...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
采集数据
重要 为方便您更好地体验DataWorks服务，本次模拟实验提供了仅有只读权限的AK供您试用，以上AK仅可用于模拟实验过程中读取样例数据，真实数据生产环境请替换为您自己的数据源AK。资源组连通性 在 数据集成 页签下，单击购买的独享数据集成...
确定需求
在真实业务场景下，可以根据业务需求、使用频度、复用性及汇总层数据计算存储进行考虑，拆解分析。例如，本例中还可以定义全表为粒度，只是该粒度中无需维度，然后定义业务限定是类目为厨具，其他保持不变，如无特殊数据情况，也可得到相同...
采集数据
重要 为方便您更好地体验DataWorks服务，本次模拟实验提供了仅有只读权限的AK供您试用，以上AK仅可用于模拟实验过程中读取样例数据，真实数据生产环境请替换为您自己的数据源AK。资源组连通性 在 连接配置 区域的独享数据集成资源组后，...
Serverless模式
数据一致性：数据消费者实例对数据的访问性能接近于数据生产者实例，同时消费者实例可以读到生产者实例最新已提交的写入数据，保证事务的ACID能力。数据共享可以帮助您解决以下问题：复杂组织权限隔离：例如公司总部和分部各有一个实例，...
使用DTS迁移实例
如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名...
RDS PostgreSQL间的数据迁移
如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名...
选型配置说明
E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...
概述
但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后才能提供给第三方使用。目前脱敏方案包括动态脱敏和静态脱敏两种，PolarDB 数据库代理使用的是动态脱敏方案。表 1.脱敏方案对比 脱敏...
确定需求
您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的...
- 产品推荐
- 这些文档可能帮助您