产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
金融大数据
架构优势：合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明：阿里云大数据数据仓库解决方案经历了阿里巴巴集团内部的实战验证，完全基于自主研发，且在不断优化、完善，以...
E-MapReduce支持倚天云服务器
大数据场景下倚天架构与X86架构对比 在相同规格下X86架构的ECS实例和基于倚天架构的ECS实例上进行了基准测试，可以看到在大数据业务场景下倚天架构实例比基于x86架构实例算力性价比更高。降低硬件成本 相比于X86架构ECS实例成本，倚天架构...
简介
典型案例&架构 航海船舶大数据平台 场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：监管区域实时地理围栏判断。轨迹区域回放（指定区域+指定时间段）。轨迹回放（指定时间段查询）。架构...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
跨境SaaS:深圳市易仓科技有限公司
存在资源碎片，资源利用率低 痛点5:业务快速发展，租户数据越来越大，存储成本越来越高 痛点6:传统主从架构数据库模式，实例众多，数据集成成本高 痛点7:租户数据量越来越大，单租户维度查询性能遇瓶颈 解决方案 PolarDB多主集群助力易仓跨...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
整体架构
湖仓版（3.0）在数据全链路的“采存算管用”5大方面都进行了全面升级。湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的...
健康检查服务内容说明
架构健康检查的主要针对业务系统和大数据应用的现有架构，通过对各业务系统的主机、网络、存储等各方面的运行参数和指标分析，提供综合的健康检查结果和结论。服务范围不包含：针对架构改造的技术支持；对业务系统和大数据应用的开发；具体...
发布包总览概述
数据架构：您可以对数据架构对象执行发布、查看版本详情操作。更多信息，请参见 管理数据架构待发布对象。研发：您可以对研发对象执行发布、查看版本详情、下载建表文件操作。更多信息，请参见 管理编码研发待发布对象。标签架构：您可以对...
发布包总览概述
数据架构：您可以对数据架构对象执行发布、查看版本详情操作。更多信息，请参见 管理数据架构待发布对象。研发：您可以对研发对象执行发布、查看版本详情、下载建表文件操作。更多信息，请参见 管理编码研发待发布对象。标签架构：您可以对...
发现并处理大Key和热Key
因此，在读、写压力都较大且对数据一致性要求很高的场景下，读写分离架构并不是最优方案。使用阿里云Tair的QueryCache特性 云原生内存数据库Tair 会根据高效的排序和统计算法识别出实例中存在的热点Key（通常热点Key的QPS大于3,000），开启...
发现并处理Redis的大Key和热Key
因此，在读、写压力都较大且对数据一致性要求很高的场景下，读写分离架构并不是最优方案。使用阿里云Tair的QueryCache特性 云数据库Redis会根据高效的排序和统计算法识别出实例中存在的热点Key（通常热点Key的QPS大于3,000），开启该功能后...
物联网数据处理分析架构参考
存在的问题 主要面临三大挑战：整体数据架构复杂，数据链路多存在稳定性风险，增加管理和运维的难度和成本。Java应用轮询调用数据API，无法满足大规模数据同步的性能要求。产生不必要的中间存储成本，企业信息部门无需实时分析时序数据，...
排查Redis实例CPU使用率高的问题
因此，在读、写压力都较大且对数据一致性要求很高的场景下，读写分离架构并不是最优方案。排查并禁用高消耗命令 排查步骤 通过性能监控功能，确认CPU使用率高的具体时间段。具体操作，请参见 查看性能监控。通过下述方法，找出高消耗的命令...
产品架构
典型应用架构 根据使用场景不同，表格存储 有互联网应用架构、数据湖架构和物联网架构三种典型应用架构。互联网应用架构 互联网应用架构包括数据库分层架构和分布式结构化数据存储架构，主要用于电商订单、直播弹幕、网盘中文件元数据、...
创建数据板块
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，单击 新建数据板块。在 新建数据板块 配置向导页面，完成以下操作。在 生产开发类型 页面，选择 Dev-Prod模式 后，单击 下一步。在 板块定义 页面，配置参数。参数 ...
列存索引技术架构介绍
基于多副本的Divergent Design方法 随着互联网而兴起的新兴数据库产品很多都兼容了MySQL协议，这些分布式数据库产品大部分采用了分布式Share Nothing方案，其一个核心特点是使用分布式一致性协议来保障单个partition多副本之间的数据一致性...
创建数据板块
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，单击 新建数据板块。在 新建数据板块 配置向导页面，完成以下操作。在 生产开发类型 页面，选择 Dev-Prod模式 后，单击 下一步。在 板块定义 页面，配置参数。区域 ...
创建ID
进入 规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，单击 标签架构。在标签架构页面，按照下图操作指引，选择 ID管理 页签，并 单击 新增ID。在 创建ID 对话框中，配置ID相关信息。参数 描述 ID名称 填写ID名称。允许中英文、...
典型客户案例
传统架构在联机并发、在线存储、批量处理方面的扩展性都面临极大的挑战：一方面单体架构扩展成本高、响应慢，另一方面事务的 ACID 过度依赖数据库，导致数据库成为扩展瓶颈。另外，银行基础产品在与 C 端，B 端以及同业等多种场景融合时，...
创建并管理业务实体
在 数据架构 页面，找到需要创建业务对象的数据板块后，按照下图操作指引，单击 新建业务实体。在 新建业务实体 对话框，配置参数。参数 描述 实体名称 命名规则如下：汉字、字母、数字、下划线（_）和中划线（-）。不能超过64个字符。编码...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
应用场景
本地IDC/跨云数据库上云迁移 数据传输服务 DTS 支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据迁移/订阅/同步于一体，助您构建安全、可扩展、高可用的数据架构。通过数据库网关，可将本地或第三方云的数据库低成本地接入至阿里云。...
应用场景
本地IDC/跨云数据库上云迁移 数据传输服务 DTS 支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据迁移/订阅/同步于一体，助您构建安全、可扩展、高可用的数据架构。通过数据库网关，可将本地或第三方云的数据库低成本地接入至阿里云。...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
产品优势
相对于传统的数据同步工具，数据同步服务的实时同步功能能够将并发粒度缩小到事务级别，能够并发同步同张表的更新数据，从而极大得提升同步性能，高峰期时，同步性能可以达到 30000 RPS（性能指标仅供参考，数据同步服务的数据迁移和同步...
集群架构
云原生内存数据库Tair 提供双副本集群架构实例，可轻松突破Redis自身单线程瓶颈，满足大容量、高性能的业务需求。集群架构支持代理和直连两种连接模式，您可以根据本章节的说明，选择适合业务需求的连接模式。注意事项 云原生 版集群架构不...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
什么是云数据库Redis版
云数据库Redis版（ApsaraDB for Redis）是兼容开源Redis协议标准的数据库服务，基于双机热备架构及集群架构，可满足高吞吐、低延迟及弹性变配等业务需求。为什么选择云数据库Redis版 硬件部署在云端，提供完善的基础设施规划、网络安全保障...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
数据服务：低成本快速发布API
核心技术与架构 数据服务采用Serverless架构，您只需要关注API本身的查询逻辑，无需关心运行环境等基础设施，数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。计费 使用DataWorks的数据服务功能创建数据API后，API调用请求需...
管理标签架构待发布对象
标签实体 待发布对象 标签实体待发布对象页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、当前环境是否变更、发布状态或输入对象名称...
管理标签架构待发布对象
标签实体 待发布对象 标签实体待发布对象页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、当前环境是否变更、发布状态或输入对象名称...
创建分布式实例
节点类型 固定为 双副本，即一主一从的双机热备架构，数据持久化保存。实例规格 选择实例的规格，每种规格都有对应的内存大小、连接数上限、带宽限制等，详情请参见 内存型（标准架构）和 内存型（集群架构）。说明 实例创建后会自动生成...
- 产品推荐
- 这些文档可能帮助您