Tair持久化与备份恢复
AOF_FSYNC_EVERYSEC 策略对Redis服务性能的影响较小，同时也能极大地降低意外情况下的数据损失风险。Tair-Binlog Tair 内存型不仅支持上述两种持久化策略，还优化了基于AOF（Append-only-file）的持久化机制，实现AOF增量归档，避免了AOF ...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
开发Dataphin数据源并加速数据查询
开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源，同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源，以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...
亿海蓝-航运大数据的可视化案例
数据量大，数据提取周期长。亿海蓝有17年AIS（船舶自动识别系统）数据积累，每日AIS数据增量约10亿。用户需要对历史年份数据进行分析，时间跨度大。业务实现技术复杂度高。业务涉及数据种类多，亿海蓝对这些业务数据使用了多种存储引擎。...
到期、欠费说明
到期说明 包年包月的服务到期后，对实例的影响和解决方案如下：计费项 到期影响 解决方案 稳定变更模式 如果稳定变更模式的可用额度不足，稳定变更模式的实例会在DMS中被随机禁用。您可以选择以下任意一种解决方案：购买稳定变更模式服务后...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
创建数据板块
后续如果数据板块内已有逻辑表产生，不可编辑英文名，以避免影响数据生产。公用名称 数据板块名称。命名规则如下：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。完成数据板块创建后，Dev数据板块名称格式为 {自定义...
创建数据板块
后续如果数据板块内已有逻辑表产生，不可编辑英文名，以避免影响数据生产。公用名称 数据板块名称。命名规则如下：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。完成数据板块创建后，Dev数据板块名称格式为 {自定义...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
Redis数据迁移方案概览
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 提供了多种数据迁移方案，包括自建Redis数据库迁移上云、云数据库Redis版 实例间的数据迁移、其他云Redis数据迁移到阿里云等，满足多种业务场景下Redis数据迁移的需求...
安全白皮书
这种策略对Redis服务性能的影响较小，同时也能极大地降低意外情况下的数据损失风险，如需调整该参数，请参见 关闭AOF落盘。数据恢复 从备份集恢复至新实例：支持根据指定的RDB备份文件创建新实例，新实例中的数据将和该备份文件中的数据...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
安全白皮书
这种策略对 Tair 服务性能的影响较小，同时也能极大地降低意外情况下的数据损失风险，如需调整该参数，请参见 关闭AOF落盘。数据恢复 从备份集恢复至新实例：支持根据指定的RDB备份文件创建新实例，新实例中的数据将和该备份文件中的数据...
全文检索
对中文文本的分析同样需要全文检索功能来实现。但对于中文，词语是最小语素单位，书写时并不像英语会在词之间用空格分开，这就导致如果使用PostgreSQL的默认全文检索引擎，难以得到符合中文语义的分词结果。例如，使用PostgreSQL tsvector...
什么是EMR Serverless StarRocks
此外，该引擎还能够利用其他二级索引，在大规模数据更新的场景下，依然能够保持对查询请求的超高速响应。智能物化视图 自动化数据同步与实时更新：StarRocks支持使用物化视图进行查询加速和数仓分层。StarRocks的物化视图能够实现自动同步...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
数据源开发和生产环境隔离
新增数据源隔离模式后，对工作空间有以下影响：仅标准模式工作空间支持数据源开发生产隔离，即开发环境和生产环境可以配置不同的数据库或数据仓库。说明 简单模式工作空间仅一个环境，无法做到开发生产隔离，关于工作空间模式说明，详情请...
全增量数据同步
本文主要介绍全增量数据同步的使用场景，功能列表，迁移优势，使用限制以及创建数据同步任务等操作。使用场景 大版本升级：...开启LTS数据抽样校验，对于大表的抽样校验，抽样比例不宜过大，避免对在线业务产生影响。业务验证。业务切流。
应用场景
建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和非结构化数据进行高效分析处理的能力。EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
SQL Server只读实例简介
在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以通过创建一个或多个只读实例分散数据库读取压力，增加应用的吞吐量。RDS ...
HBase数据同步与迁移
开启LTS数据抽样校验，对于大表的抽样校验，抽样比例不宜过大，避免对在线业务产生影响。业务验证。业务切流。常见问题 Q：什么场景会导致“不消费数据”？A：没有终止任务的前提下直接释放LTS集群；同步任务暂停；任务异常阻塞。
长周期指标的计算优化方案
影响性能的问题根源是多天汇总数据量过大，建议您使用构建临时表的方式对每天的数据进行轻度汇总，这样可以去掉很多重复数据，减少数据量。实验方案 构建中间表，每天汇总一次。对于上述示例，构建 item_id+visitior_id 粒度的日汇总表，记...
图扑案例
针对存储层面临的问题，厦门图扑软件基于阿里 云原生多模数据库 Lindorm 改造存储层架构，以单库多模超融合模式存储全量采集的监控数据（技术方案对比如图2所示），极大地简化了存储层架构，进而降低了运维成本。利用Lindorm自研的数据压缩...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
常见问题
MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的AccessKey，会对之前AccessKey创建的周期性...
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
数据服务系统配置
运维监控统计数据可帮助您查看最近某段时间的API运维数据，以便您更好的调整API，合理优化资源。本文为您介绍如何自定义运维监控配置。权限说明 超级管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页，单击顶部菜单栏 服务。...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
入湖基础操作
选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务低谷期执行此类任务，避免对业务连续性产生影响。待抽取的数据表须确认包含主键，...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
功能特性
专业工具支持 数据管理服务DMS（Data Management Service）支持管理MySQL、SQL Server、PostgreSQL等关系型数据库和MongoDB、Redis等NoSQL数据库，同时还支持Linux服务器管理。它是一种集数据管理、结构管理、访问安全、BI图表、数据趋势、...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
代码解析结果对比
开启自动解析时，为保障生产数据产出无误、节点变更操作过程可控，在节点发布流程中，需对节点调度变更相关操作进行二次确认，提交节点时将基于代码中表血缘解析当前节点的输入与输出。您可根据代码解析结果，确认节点的上下游依赖是否正确...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
什么是RDS PostgreSQL
只读实例：在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
产品优势
无锁备份 利用底层分布式存储的快照技术，只需分钟级别即可完成对上TB数据量大小的数据库的备份，且整个备份过程不需要加锁，效率更高，影响更小。开始使用PolarDB PolarDB MySQL版快速入门 PolarDB PostgreSQL版快速入门 PolarDB ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
- 产品推荐
- 这些文档可能帮助您