SQL优化技术
本文介绍数据库自治服务DAS（Database Autonomy Service）的SQL优化技术。背景信息 作为数据库管理员或应用开发者，都有过SQL优化经历。数据库上执行的SQL千差万别，且伴随着业务快速迭代、数据分布特征变化、热点变化、数据库版本升级等...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期...数据同步任务Failover信息 统计实时同步任务在指定时间内的Failover消息，以便总览任务Failover的状态。Failover详情请参见 实时同步任务运行与管理。
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
功能发布记录（2023年）
2023.3.15 所有地域 所有DataWorks用户 处理治理项问题 数据服务的加速服务启动商业化 加速服务面向MaxCompute数据源生成在线API服务，无需导出MaxCompute数据，即可提供良好的查询性能与效率，满足在线查询需求。2023.3.1 华东2（上海）、...
OSS对象检查节点
DataWorks支持通过OSS对象检查节点检查OSS指定路径的文件是否存在，当下游任务需依赖该OSS文件时，您可使用此功能先检查文件是否存在。例如，同步OSS数据至DataWorks，需先检测出已经产生OSS数据文件，才可执行OSS同步任务。本文为您介绍...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
跨阿里云账号迁移RDS实例
如果使用了对象名映射功能，可能会导致依赖这个对象的其他对象迁移失败。映射名称更改 如需更改迁移对象在目标实例中的名称，请使用对象名映射功能，详情请参见 库表列映射。源、目标库无法连接重试时间 默认重试12小时，您也可以自定义重...
组复制简介
如果此时备节点已经被切换成新主节点，就会出现主节点数据少于备节点，主备节点数据不一致的情况。全局 事务强一致性 组复制具备集群的节点间的数据全局强一致读和全局强一致写能力，并且可根据业务需要修改group_replication_consistency...
全球数据库常见问题
本文档介绍了全球数据库（GDN）的常见问题。GDN主从数据路由的逻辑是什么？GDN的跨地域读写分离功能需要依赖 PolarDB 集群的集群连接地址实现。从集群的读请求通常情况下会直接发往本地，而写请求则被转发至主集群。详情请参见 技术架构。...
通过Flink导入数据
云数据库 SelectDB 版 兼容Apache Doris，支持通过Flink Doris Connector，将Kafka中的非结构化数据以及MySQL等上游业务数据库中的变更数据，实时同步到 云数据库 SelectDB 版 中，有效地满足海量数据的分析需求。功能介绍 Flink Doris ...
权限说明
例如进行权限查询，角色管理时提示对应操作没有权限，错误码为NoPermission，有几种途径可以解决问题 授予用户数据湖admin/super_administrator角色。参考 角色管理。授予用户dlf-dss权限，DLF在RAM上已内置AliyunDLFDSSFullAccess及...
功能特性
云原生内存数据库Tair 云原生内存数据库Tair是阿里云自研数据库，兼容Redis的同时提供更多数据结构和企业级能力，包括全球多活、任意时间点恢复和透明加密等。支持多种存储介质和不同场景性价比需求：内存型支持超高吞吐，性能为Redis三倍...
多可用区部署
总的来说，传统的主备容灾存在以上问题，但云原生多模数据库Lindorm多可用区部署可以完全解决这些不足之处。多可用区架构 云原生多模数据库 Lindorm 支持多可用区部署，Lindorm实例宽表的Partition会在每个可用区中存在一个独立的副本，...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
应用场景
服务依赖：在公有云环境下，软件对外部服务的依赖是一件相对轻松的问题，它往往通过引用相应的云服务来解决，比如对数据库的依赖，RDS是一个不错的云服务选项。但是如果要将软件本地化、独占式交付，那往往需要一个独占式服务来解决。部署...
管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
解决SQL Server表中的中文乱码问题
解决方法 为了解决在SQL Server表中查询生僻字出现乱码的问题，您需要使用Unicode编码格式的数据类型，例如NVARCHAR，并在向该数据类型插入数据时，使用前置词N。N代表国家语言，必须大写。如果没有使用前置词N，则SQL Server会将字符串...
客户案例
客户诉求 帮助企业和开发者解决数据系统独立，无法融合分析的问题。帮助企业和开发者解决BI分析系统灵活性与业务可用性难以平衡的问题。解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
数据服务概述
这就造成在数据应用存在以下问题：数据开发周期长，响应慢：需要按迭代排期实现，数据使用门槛高不能随时使用。烟囱式开发：开发成本高，复用性低，为每个需求提供对应的数据接口。数据安全和查询性能无法保障：在数据接口开发时往往只考虑...
区域热力层
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力值数据接口 您可以通过配置热力值数据接口，自定义区域热力层的样式。区域热力层支持数据优先...
如何处理Tair集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
如何处理Redis集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
任务运行失败
问题原因出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。解决方案重新选择使用连接串模式创建的数据源。您可以参考 配置MySQL数据源 进入 数据源管理 页面，单击目标数据源 操作 列的 编辑，在 数据源编辑 页面查看创建...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
全增量实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：执行同步解决方案任务 进入 数据集成>同步任务 界面，找到已创建的同步方案...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
企迈云商
DAS通过 7*24小时异常检测，自动检测到实例出现异常，并触发根因分析，定位异常的请求，从而确定导致问题的异常SQL，从根本上解决数据库性能问题。DAS在找到异常根因SQL后3分钟内自动限流，帮助业务恢复正常，全程自动操作，无需人工介入，...
强弱依赖治理概述
通过以上对比可以看出，当下游依赖出现问题时，当前系统会受到一些影响，严重影响用户体验的是强依赖，影响较小的则是弱依赖。强弱依赖治理 强弱依赖治理就是提前发现因为依赖问题可能导致的故障，避免依赖故障影响用户体验，积累数据持续...
确定需求
您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的...
确定需求
您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的...
SQL其他常见问题
问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
待迁移的表需要具备主键或唯一约束，且字段具有唯一性，否则可能导致目标端数据库出现数据不一致的问题。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。目标端是数据库的情况下，...
如何解决全量迁移慢或迁移卡住
问题现象 DTS在全量数据同步或迁移阶段时，可能会出现耗时很久的现象，或者出现任务卡住的迹象。可能原因 源库待同步或迁移的数据量大或无主键。源库创建了多个DTS任务。源或目标库连接异常。例如，数据库设置了白名单、账号权限不足、账号...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
天任务依赖分钟任务最佳实践
为避免出现上述问题，您可以设置数据过滤为 insert_time<${endTime}，每次都进行全量同步，只要有成功的便可同步 endTime 数据。您无需设置自依赖，但会增加数据库的负担。配置作为天任务的ODPS SQL节点。双击ODPS SQL节点，进入该节点的...
数据扫描和识别
本文介绍敏感数据扫描和识别的常见问题及解决方法。数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件...
- 产品推荐
- 这些文档可能帮助您