概览
数据开发解决方案 DMS提供强大的内核功能，助您轻松实现数据开发、分析、挖掘、可视化等需求。功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的...
概览
支持 从RDS SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL 数据传输服务DTS（Data Transmission Service）支持将SQL Server同步至云 AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转，集中分析企业数据。支持 从RDS PostgreSQL...
概述
使用DTS同步 通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库同步到表格存储实例，轻松实现数据的流转。使用canal同步 对于中小规模的数据库或者个人开发者，通过canal，您可以将MySQL数据库中的全量数据或者增量...
配置SAP Table输入组件
同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建SAP Table数据源，如何创建，请参见 创建Sap Table...
配置SAP Table输入组件
同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建SAP Table数据源，如何创建，请参见 创建SAP Table...
创建Sap Table数据源
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部...
创建Sap Table数据源
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部...
常见问题
消息数据 表格存储 自研的Timeline模型主要用于消息数据，能够抽象出支撑海量Topic的轻量级消息队列，可以存储大量社交信息，包括IM聊天，以及评论、跟帖和点赞等Feed流信息，接口简单易用。目前 表格存储 Timeline模型已被应用在众多IM...
MaxCompute近实时增全量一体化架构介绍
SQL DML与Upsert批处理链路 为了让您更便捷地操作Transactional Table2.0，并轻松实现复杂数据查询和操作需求，MaxCompute已对SQL引擎的核心模块Compiler、Optimizer和Runtime等进行了适配和优化，并实现了特定语法解析、优化计划、PK列去...
申请、续期和交还表权限
申请表名 选择需要申请权限的数据表，您可以按照数据表名称的关键字进行模糊搜索，也可以单击 图标，根据 表类型、环境、数据板块、项目 进行精确筛选。表类型：支持选择 物理表、元表、镜像表、物理视图、逻辑视图、建模逻辑表 和 标签...
申请、续期和交还表权限
申请表名 选择需要申请权限的数据表，您可以按照数据表名称的关键字进行模糊搜索，也可以单击 图标，根据 表类型、环境、数据板块、项目 进行精确筛选。表类型：支持选择 物理表、元表、镜像表、物理视图、逻辑视图、建模逻辑表 和 标签...
使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移
CLONE TABLE功能介绍 CLONE TABLE功能可以高效地将源表中的数据复制到目标表中。将数据复制到目标表之后，建议您执行数据验证以确保复制后数据的准确性，例如执行 select 命令查看表的数据、执行 desc 命令查看表的大小。使用限制 目标表与...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
RegisterLineageRelation
实体唯一标识格式：EntityType.EntityGuid 1：EntityType 标识实体类型 1.1 Dataworks上已有的实体类型(1)maxcompute表：maxcompute-table(2)mysql表：mysql-table(3)emr表：emr-table(4)holo表：holodb-table 1.2 用户自定义的实体类型：...
方案背景
在电商运营中数据的分析和可视化是最重要的部分之一，而通过电商大屏可以实现数据分析和可视化的完美结合。电商大屏中包含全量订单和实时订单的聚合结果，全量订单的聚合结果展示全景的综合数据视图，实时订单的聚合结果展示实时的运营指标...
迁移工具
插件 说明 OTSReader 用于读取表格存储表中的数据，并可以通过指定抽取数据范围实现数据增量抽取的需求。OTSStreamReader 用于增量导出表格存储表中的数据。OTSWriter 用于向表格存储中写入数据。通道服务 使用通道服务可以轻松构建高效和...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至...功能介绍 OSS Foreign Table支持如下功能：功能 介绍 查询分析OSS数据 ...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
DDL语句
目录 创建表 修改表属性-增加列 修改表属性-删除列 修改表属性-表重命名 修改表属性-手动合并碎表 删除表 删除表-彻底删除 清空表数据 创建单值分区表 创建单值分区 删除单值分区 清空单值分区 创建分桶表 创建索引 添加索引 删除索引 重建...
测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，有效减轻您准备测试数据的负担。准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本...
CLONE TABLE
当您需要将一张表中的数据复制到另一个表中时，可以使用MaxCompute的 clone table 功能，提高数据迁移效率。本文以具体示例为您介绍 clone table 功能的使用。功能介绍 clone table 支持高效地将源表中的数据复制到目标表中。将数据复制到...
快速玩转Tablestore入门与实战
数据流计算篇 基于Tablestore打造亿量级订单管理解决方案 基于Tablestore多元索引打造亿量级店铺搜索系统 海量智能元数据管理系统实现解析 基于Tablestore的海量保险单查询平台 消息数据 表格存储 自研的Timeline模型主要用于消息数据，...
功能特性
函数计算 Flink 通过实时计算Flink访问表格存储中的源表、维表或者结果表，实现大数据实时计算与分析。目前数据表支持作为源表、维表或者结果表，时序表只支持作为结果表。Flink Presto 使用PrestoDB对接表格存储Tablestore后，基于...
数据导出到OSS概述
同步方式 所用插件 插件说明 全量导出 Tablestore（OTS）Reader 用于读取表格存储表中的数据，并可以通过指定抽取数据范围实现数据增量抽取的需求。更多信息，请参见 Tablestore数据源。增量同步 OTSStream Reader 用于增量导出表格存储表...
Database外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL（简称ADB PG）支持通过JDBC的方式访问Oracle、PostgreSQL、MySQL外部数据源。说明 本特性只支持存储弹性模式实例，且需要 云原生数据仓库 AnalyticDB PostgreSQL 版 实例和目标访问的外部数据源处于同...
键值表格
图表样式 键值表格是表格组件的一种，支持以键值的形式自定义表格内容，能够将数据信息以表格的形式清晰地展示在可视化应用上，仅支持两列数据的展示，且无法新增列。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
基本概念
MySQL Binlog：实时数据同步模式，通过同步并解析记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志，实现数据的秒级同步。SQLServer CDC：实时数据同步模式，开启CDC的源表...
批计算谓词下推配置
返回table数据表中没有a列的行。In 是 select*from table where a in {1,2,3};默认最大限制为1024。LessThan 是 select*from table where a;当SQL语句中使用该谓词的列的数据类型为Long或者String时，可以自定义谓词下推配置。...
应用场景
表格存储 作为关系数据库的存储补充用于存储历史订单数据并通过DTS实时同步关系数据库中的数据，同时支持使用索引实现多字段组合查询以及支持对接流批计算引擎实现数据统计分析。IM场景 IM（Instant Messaging，即时通讯）已成为当前互联网...
准备工作
单击 免费测试，在MaxFrame免费试用申请表页面填写相关信息即可 申请试用 MaxFrame，我们将在2~3个工作日内为您开通。单击 企业咨询，加入MaxFrame官方支持群，进行答疑及获取相关支持。领取MaxFrame试用特惠包：在MaxFrame邀测期间，每个...
StartLocalTransaction
为数据表开启局部事务后，使用局部事务功能，您可以创建数据范围在一个分区键值内的局部事务并对局部事务中的数据进行读写操作。通过使用局部事务您可以实现单行或多行读写的原子操作。注意事项 目前局部事务功能处于邀测中，默认关闭。...
宽表模型介绍
表格存储 按照分区键对数据表的数据进行分区，具有相同分区键的行会被划分到同一个分区，实现数据访问负载均衡。属性列（Attribute Column）一行中除主键列外，其余都是属性列。属性列会对应多个值，不同值对应不同的版本，每行的属性列...
数据保护机制
注意事项 设置Exception Policy可能存在TOCTOU（Time-of-Check to Time-of-Use）数据泄露问题（即Race Condition问题）：问题描述 假设，用户的数据流出流程如下：（TOC阶段）用户A向项目所有者申请导出表t1的数据。项目所有者对t1的数据...
列出映射表名称列表
通过show tables语句列出当前数据库中的映射表名称列表。说明 关于show tables语句的更多信息，请参见 列出映射表名称列表。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建映射关系。具体操作，请参见 创建表的映射...
监控与日志
数据表或者索引监控数据 在数据表的 监控指标 页签，查看数据表、二级索引表或者多元索引的平均访问延迟、每秒请求次数等监控数据。多元索引计量数据 在数据表的 索引管理 页签，单击多元索引 操作 列的 索引详情，查看多元索引的存储量、...
查询表的描述信息
如果由于数据表的属性列发生变化需要更新映射表相应的属性列，您可以通过 ALTER TABLE 语句实现。更多信息，请参见 更新映射表属性列。如果不再使用某个映射表，您可以使用 DROP MAPPING TABLE 语句删除映射关系。更多信息，请参见 删除...
我的数据
权限有效期 申请表权限的时长，单位为天，不填则默认为永久。超过申请权限时长时，系统将自动回收该权限。申请理由 请简要填写申请权限的理由。待我审批 当前访问账号为管理员时，可以在 待我审批 页面，查看并审批所有项目下的表、资源和...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表时支持创建一个或者多个索引表。注意事项 创建数据表后需要几秒钟进行加载，在此期间对该数据...
数据表操作
创建数据表后，您可以根据实际管理数据表，例如获取实例中的所有表名称、查询数据表的配置信息、更新数据表的配置信息等。注意事项 主键自增列功能和局部事务功能不能同时使用。如果创建数据表时配置了主键自增列，则开启局部事务的配置会...
- 产品推荐
- 这些文档可能帮助您