基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
OSS-HDFS数据源
version":"2.0","steps":[{"stepType":"oss_hdfs",/插件名"parameter":{"path":"",/要读取的文件路径"datasource":"",/数据源"column":[{"index":0,/序列号,index从0开始（下标索引从0开始计数），表示从本地文本文件第一列开始读取数据。...
如何支持超大事务
执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：INSERT INTO `tb` VALUES(id,c)数据表中 c 列的数据类型为longblob，c 的大小从256 KB到8 ...
配置Kafka输入
KafkaConsumer 读取数据的行为。实时同步Kafka输入节点，KafkaConsumer 默认使用随机字符串设置 group.id，如果希望同步位点上传到Kafka集群指定群组，可以在配置参数中手动指定 group.id。实时同步Kafka输入节点不依赖Kafka服务端维护的群...
RDS SQL Server I/O高问题
结合Page性能可以发现，1点左右的I/O吞吐量突增主要是读取数据页造成的，峰值达到了50000页左右，即400 MB/sec。结合Page性能、Log性能、备份吞吐量可以发现，2点到3点左右的I/O吞吐高峰由数据页读取（峰值约40 MB/sec）、数据页写入（峰值...
局部事务
使用GetRow或GetRange接口获取数据，且在请求中需要带上局部事务ID。在客户端本地修改数据。使用PutRow、UpdateRow、DeleteRow或BatchWriteRow接口将修改后的数据写回，且在请求中需要带上事务ID。使用CommitTransaction提交局部事务。复杂...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
SmartData常见问题
JindoFS Block模式可以通过OSS API读取数据吗？对象存储OSS不支持Rename操作，那JindoFS支持Rename操作吗？JindoFS的Rename性能如何？JindoFS支持类似于Hadoop S3A的Magic Committer吗？JindoFS对百万千万级文件数目录的支持情况如何？...
ListDataImportSQLPreCheckDetail-获取数据导入预检...
获取数据导入预检SQL详情。接口说明 仅支持导入模式为安全模式的数据导入工单使用此 API，不支持极速模式的数据导入使用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
分析外部OSS上的数据
第一种方式：从OSS数据文件中获取列类型（推荐），如下所示：CREATE FOREIGN TABLE `test` FROM CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/test.orc' COMMENT='columnar=1';您可以使用 SHOW create table ...
单值百分比饼图
图表样式 单值百分比饼图是饼图的一种，与基本饼图相比，单值百分比饼图适用于展示单个类别与总体的数据占比情况，不支持多数据系列的配置。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的...
基于AnalyticDB构建企业数仓
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
指标占比饼图
当指标占比饼图接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
基本水位图
当数据描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
标注对比饼图（v3.0及以上版本）
当标注对比饼图接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
DescribePackages-查询数据包的信息
调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。接口说明 本接口一般用于 MaxCompute 数据包列表查询，便于搜索和敏感信息概览。QPS 限制 本接口的单用户 QPS 限制为 ...
开发文档
蚂蚁区块链跨链服务是面向智能合约提供的链上数据服务，本服务在客户区块链环境中部署跨链服务合约/链码，并且提供 API 接口供用户合约/链码进行调用。跨链接服务目前提供 账本数据访问 和 合约消息推送 两类服务及其对应的 API 接口。账本...
查看性能监控指标
InnoDB读写数据量 展示所选择节点每秒从存储引擎读取的数据量和每秒往存储引擎写入的数据量。来源于 show global status 命令查询结果中的 Innodb_data_read、Innodb_data_written 指标。InnoDB缓冲池请求数 展示所选择节点缓冲池的每秒...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
API概览
SwitchGlobalBroadcastType 该接口用于将广播表从多写切换成异步链路模式。数据表管理 API 描述 DescribeTables 该接口用于获取表信息列表。DescribeTableListByType 该接口用于根据类型获取表集合。DescribeTable 该接口用于获取表结构...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
API安全
风险类型 说明 缺乏鉴权机制的敏感数据接口 接口缺少鉴权机制，可以被未授权的访问者访问，用于获取敏感数据。缺乏访问限速机制 接口在应对高频访问时，缺少安全防护机制，可能导致暴力破解、恶意爬虫等。缺乏访问控制机制 接口对不符合...
LogHub（SLS）数据源
常见问题 读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 更多其他数据集成常见问题请参见 数据集成常见问题。附录：LogHub（SLS）脚本Demo与参数说明 附录：离线任务脚本...
ListDataCorrectPreCheckSQL-获预检查环节的SQL详情
获取数据变更工单中预检查环节的SQL信息列表。接口说明 关于该功能的更多说明，请参见 普通数据变更。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
多维度饼图（v3.0及以上版本）
当多维度饼图接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
宜搭创建大屏实操
本文主要介绍如何使用企业经营管理系统中客户库表及签约表表单数据，来创建并配置企业经营管理大屏。宜搭创建大屏实操视频，请参见：宜搭创建大屏实操视频。创建企业经营管理系统 操作步骤如下：登录宜搭系统，通过空白应用创建名称为 企业...
进度条表格
事件 事件 说明 当数据接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击单行时 当单击进度条...
数据服务概述
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。新建业务流程 数据服务基于业务流程实现以业务为单元的数据服务API开发，...
基本概念
但如果Table Group的Shard数较少，但是实例规格较大即Worker较多，则会导致某些Worker无法分配Shard，导致某些Worker空置，因此在设计Shard数时一定要充分考虑业务情况，确保Worker的个数与实例总的Shard数有一定的均衡关系。从上图中能很...
离线同步并发和限流之间的关系
数据集成会尝试保障任务执行并发数符合配置并发数，常见的任务实际执行并发数小于配置并发数的场景有：关系数据库（如MySQL、Polardb、SQLServer、PostgreSQL、Oracle等等）读取，没有配置切分键splitPk（切分列支持整型数字类型，Oracle在...
轮播饼图
当轮播饼图接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
CreateDataCorrectOrder-创建普通数据变更工单
DbId long 是 数据库 ID（DatabaseId），数据库分为物理库和逻辑库两种：物理库 ID：可通过调用接口 ListDatabases 或 SearchDatabase 获取该参数的值。逻辑库 ID：可通过调用接口 ListLogicDatabases 或 SearchDatabase 获取该参数的值。...
锦鲤翻牌器
当接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
数据库
如果另一个进程持有一个最终从要访问的缓冲区中读取数据的打开的游标，缓冲区 pin 等待可能会被拖延。Activity：服务器进程处于闲置状态。这被用于在其主处理循环中等待活动的系统进程。wait_event 将标识特定的等待点。Extension：服务器...
基本柱状图（v3.0及以上版本）
当基本柱状图接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
梯形柱状图（v3.0及以上版本）
当梯形柱状图接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
数据库
如果另一个进程持有一个最终从要访问的缓冲区中读取数据的打开的游标，缓冲区 pin 等待可能会被拖延。Activity：服务器进程处于闲置状态。这被用于在其主处理循环中等待活动的系统进程。wait_event 将标识特定的等待点。Extension：服务器...
锦鲤翻牌器列表
当接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
- 产品推荐
- 这些文档可能帮助您