SQL回放
当源端OLTP库的数据迁移到目标端OLAP库后，您可以使用 数据管理DMS 的SQL回放功能，查看源端SQL在目标端的兼容性及SQL性能对比的结果，帮助您提升OLAP库的测试效率。背景信息 OLTP是传统关系型数据库的主要应用，主要用于基本和日常的事务...
离线同步数据质量排查
说明 读端脏数据一般比较少见，主要出现在半结构化类型的数据源中，比如OSS、FTP、HDFS等。环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据...
阿里云云通信短信服务安全白皮书V1.0
客户负责基于阿里云云通信提供的服务构建的应用系统、产生的数据、所从事业务的安全等；合作伙伴负责其为阿里云云通信提供服务及平台的安全性。1）阿里云云通信安全责任 阿里云云通信负责其所提供云服务及产品的应用安全、主机安全、网络...
列存索引技术架构介绍
首先，在技术上需要维护两套不同技术体系的数据库系统，其次由于两套系统处理机制的差异，维护上下游的数据实时一致性也非常具有挑战性。而且存在数据同步延迟，下游AP系统存储的经常是过时的数据，从而导致无法满足实时分析的需求。基于多...
MaxCompute安全白皮书
说明 在一些传统的强制访问控制系统中，为了防止数据在项目空间内部的任意分发，一般还支持更多复杂的安全策略，例如：不允许用户写敏感等级不高于用户等级的数据（No-WriteDown）。但在MaxCompute平台中，考虑到项目空间管理员对数据敏感...
附录 2 等级保护简介
或者对社会秩序和公共利益造成损害，但不损害国家安全 一般重要系统 第三级 信息系统受到破坏后，会对 社会秩序和公共利益造成严重损害，或者对国家安全造成损害 比较重要系统 第四级 信息系统受到破坏后，会对社会秩序和公共利益造成特别...
整体架构
数据优化服务 主要由MaxCompute的Storage Service来负责智能地自动管理增量数据文件，其中包括小文件合并 Clustering、数据 COMPACTION、数据排序等优化服务。对于其中部分操作，Storage Service会根据数据特征、时序等多个维度综合评估，...
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
互联网教育：尚学博志（上海）教育科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍尚学博...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
数据分析：即时快速分析
流动：在线数据分析可以从不同业务系统的数据库获取数据进行分析。DataWorks数据分析支持导出数据为MaxCompute表，或分享结果数据至指定成员，并赋予其权限。数据可以在不同的系统和人员之间流动。安全：所有SQL查询、SQL结果下载等功能的...
数据查询
为了方便您获取HexCode编码字符，集群管理系统的数据查询页面提供了转换工具。方法一 在集群管理系统的左侧导航栏中，选择 数据查询。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。打开 HexString 开关。在...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
管理数仓规划待发布对象
公共定义待发布对象 待发布公共定义页面主要由搜索与筛选区、公共定义对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入统计周期名称、英文缩写...
管理数仓规划待发布对象
公共定义待发布对象 待发布公共定义页面主要由搜索与筛选区、公共定义对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入统计周期名称、英文缩写...
行业趋势与背景
数据库系统是一切应用软件的数据处理及交换核心，是所有基础软件进行数据存储、查询、分析处理的中心。数据库系统运行性能是否高效稳定、接口语言是否通用，直接决定了上层应用能否给用户提供好的性能，同时直接影响开发人员效率。根据全球...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
产品概述
针对不同业务场景所面临的不同数据安全问题，以下列举了一些全密态数据库适用的典型场景：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。在一般的应用场景中，...
产品概述
针对不同业务场景所面临的不同数据安全问题，以下列举了一些全密态数据库适用的典型场景：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。在一般的应用场景中，...
产品概述
针对不同业务场景所面临的不同数据安全问题，以下列举了一些全密态数据库适用的典型场景：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。在一般的应用场景中，...
概述
针对不同业务场景所面临的不同数据安全问题，以下列举了一些全密态云数据库适用的典型场景：应用服务面向数据库服务的数据加密 在一般的应用场景中，数据的拥有者即为应用服务方。他们希望防止数据库服务及其运维人员接触到任何应用数据，...
网络资源
网络资源需要支持安全的数据传输和通信协议，以保护分布式系统的敏感数据和通信内容的机密性和完整性。网络资源还需要提供高带宽、低延迟和稳定的网络连接，以确保节点之间的通信和数据传输的效率和可靠性。网络资源是流量入口和数据交互的...
基本概念
任务运维 任务流：由数据同步节点、离线计算任务节点、流式计算任务节点、自定义计算节点等组成的数据加工或算法服务工作流。业务类型：提交任务流的来源，包括数据同步、数据开发、标签加工、标签同步等。任务类型：提交任务流的来源，...
PolarDB MySQL版CPU使用率高
非预期内CPU使用率增长 导致CPU使用率非预期增长的情况比较复杂，本文主要针对比较常见的几个现象：慢查询、活跃线程高、内核配置不合理、系统BUG进行说明。慢查询 正常情况下，CPU使用率的增长，一般是由于SQL语句不合理，产生了慢查询，...
如何对JSON类型进行高效分析
PolarDB MySQL版 本身是一个关系型数据库管理系统，其存储的数据通常是结构化数据，但也原生支持存储和查询半结构化数据，如XML和JSON格式数据。PolarDB IMCI也全面支持JSON数据类型及其列式函数，采用二进制JSON格式来存储半结构化数据，...
SDK同步与异步通信模式
异步通信模式 有的TCP/IP协议栈不提供同步方式的数据接收接口，例如Nucleus操作系统。有的用户认为同步方式效率不高，希望设备收到数据时可以主动将数据发送给SDK，可以使用SDK的异步通信模式。异步通信模式与同步通信模式的最大区别在于，...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
深度解析Lindorm搜索索引（SearchIndex）特性
WAL保序 通过隐藏的时间戳属性，保证在宽表中先写入的数据先写入搜索，后写入的数据后写入搜索，确保宽表和搜索的数据一致性，彻底解决LilyIndexer存在的数据错乱问题。全量构建快 对于已有的历史数据，可以借助LTS的全量任务运行机制，...
配置跨库Spark SQL节点
在线业务会产生大量的数据，当需要对这些数据进行加工分析时，一般需要将在线业务的数据同步到专门用于数据加工和分析的数据仓库，再进行数据分析。数据仓库的数据回流到在线库，用于数据查询。在数据仓库中对数据进行加工分析后，往往需要...
PolarDB HTAP实时数据分析技术解密
而且由于数据同步存在延迟，下游AP系统存储的经常是过时的数据，导致无法满足用户实时分析数据的需求。基于多副本的Divergent Design方法 随着互联网而兴起的新型数据库产品很多都兼容MySQL协议。因此，新型数据库成为替代MySQL的一个可...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
产品优势
支持DIFF，压缩效果一般，并且编码后的数据无法检索 无 冷热分离 冷热数据自动分层，其中冷数据使用高压缩和高性价比存储，减少80%成本，热数据可提升访问性能15%，详情请参见 冷热分离介绍。不支持 不支持 扩展性与弹性 最小规模 1个节点...
基本概念
用户可以按照EPSG坐标参照系统参数来定义栅格数据所要采用的坐标系统，目前Ganos Raster比较常用的EPSG主要有：EPSG:4326即WGS84投影坐标系，它采用经纬度的方式展示，是目前最常用的坐标系统之一。EPSG:3857即Mercator球形墨卡托投影坐标...
CREATE DATABASE
特别地，通过写 TEMPLATE template0 你可以创建一个原始的数据库（其中没有用户定义的对象存在并且系统对象没有被更改），它将只包含你的PolarDB版本所预定义的标准对象。如果你希望避免拷贝任何可能被加入到 template1 中的本地安装对象，...
- 产品推荐
- 这些文档可能帮助您