配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Hologres。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
命令行界面
下载CLI 根据操作系统的不同，下载合适的二进制包，下载地址如下：macOS(amd64)Linux(amd64)Windows 解压下载的压缩包，进入到解压后的文件夹，可获得命令行工具 influx（Windows下为 influx.exe）。启动influx 在cmd终端启动 influx。成功...
数据类型
RtcEngineUserOfflineDropped 因过长时间收不到对方数据包，超时掉线。RtcEngineOnByeType：OnBye类型。枚举名 描述 RtcEngineOnByeBeKickedOut 当前user被踢出channel。RtcEngineOnByeChannelTerminated channel已结束，需要离开会议。...
Query Profile介绍
NetworkTime 数据包传输时间（不包括接收后处理时间）。WaitTime 由于发送端队列满而导致的等待时间。NetworkBandwidth 网络带宽。Source 指标 说明 SenderWaitLockTime 等锁时间。BytesReceived 接收的数据大小。DecompressChunkTime 解压...
术语
本文介绍 PolarDB PostgreSQL版（兼容Oracle）使用过程中遇到的术语。名词 描述 地域（Region）数据中心所在的地理位置。可用区（Zone）可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群...
内存型
企业级特性 企业级特性 说明 通过数据闪回按时间点恢复数据 开启Redis的数据闪回功能后，Redis最长可将AOF备份数据保留7天，在此期间您随时可以指定一个精确到秒的时间点，系统会基于所选时间点的备份数据创建一个新的实例，实现精确的数据...
一键实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
数据库代理常见问题
如果您在使用RDS MySQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通...
添加堡垒机架构备份网关
数据库备份DBS 支持接入堡垒机网络结构的数据库，当数据库主机处于内网环境且无法直接与外部网络建立连接时，可以通过堡垒机代理访问外部网络。您需要在堡垒机上安装代理网关，并在数据库主机上安装DBS备份网关。本文介绍添加堡垒机架构...
SysOM内核层容器监控
该指标提供系统中网络数据包通过网络协议栈时发生的事件次数，包括在网络协议栈中丢包的次数、发生栈溢出的次数、发生断言失效的次数等。sysom_sock_stat gauge-该指标可以帮助发现由于应用逻辑、系统参数配置等问题导致的套接字和缓冲区...
移动网关常见问题
验签失败的结果不同：离线包验签失败不会导致 H5 页面失效，页面数据只能通过网络加载，不影响正常使用。网关验签失败会导致向后台请求的数据后台校验失败或者前端获取到的数据解密失败时，App 的页面数据不能正常展示，影响正常使用。网关...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
流量监控
在智能接入网关管理控制台，您可以查看智能接入网关实例的监控数据，如流量、数据包、时延、丢包WAN口带宽、应用加速带宽和DPI应用统计等。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择智能接入网关的目标区域。在 智能接入...
实时同步常见问题
原因：由于实时同步支持断点续传，为保障不丢失数据，在重启实时同步回溯位点时可能会往前回溯一部分数据，此过程可能导致之前的DDL消息再次被读取而再次报警。解决方案：当源端产生DDL变更时，手动在目标端数据库进行相应的DDL变更。启动...
概述
GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群处理），并且提供异地灾备能力，可满足如下应用场景：异地多活 如果业务部署在多个地域，传统网络下，数据库在主地域，其它地域的应用需要跨地域访问...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
同步 OceanBase 数据库的数据至 DataHub
数据同步过程中，数据传输支持删除表之后再新建表，即支持对已经同步的表进行 DROP TABLE 操作后，再执行 CREATE TABLE。数据传输不支持通过重命名的方式新建表，即不支持执行 RENAME TABLE a TO a_tmp 操作。数据传输支持字符集配置为 UTF...
安全白皮书
同时，云数据库Redis优化了Redis的同步机制，在同步位点上借鉴MySQL的GTID，实现了全局Opid，查找Opid的操作通过后台线程无锁进行，发送AOF binlog是异步同步的过程（可限流），保障了Redis服务的性能。全球多活 云数据库Redis版 全球多活...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
查询慢日志
代理慢日志 代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...
查询慢日志
代理慢日志 代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...
常见问题
水平扩缩容过程涉及数据搬迁，实例里面数据越多搬得越多，耗时时间越长。扩缩容期间对实例有什么影响？为保证扩缩容中数据搬迁后的数据一致性，扩缩容期间实例处于可读不可写状态。水平扩缩容升级有什么建议？水平扩缩容耗时较长，当集群...
通过函数计算节点实现GitHub实时数据分析与结果发送
主要业务过程如下：通过DataWorks的数据集成功能，将MySQL上的Github实时数据同步至MaxCompute。将同步至MaxCompute的数据进行分析处理，查询获取过去1小时Github中Top10的代码语言及提交次数，并将处理结果存储于阿里云OSS。在函数计算中...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
实时同步任务告警设置最佳实践
指标7：脏数据 报警监控原理与适用场景 配置建议 实时同步过程中当数据写入目标端失败时，此条数据会被归类为脏数据。当用户需要感知脏数据发生时，可设置此监控指标。默认实时同步任务不容忍脏数据，不需要设置脏数据指标告警。仅当实时...
数据源配置常见问题
请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的数据库，具体请参见 如何使用DataV Proxy。如何配置CSV数据来源？保留CSV的首行作为表头，并且每一个...
数据源配置常见问题
请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的数据库，具体请参见 如何使用DataV Proxy。如何配置CSV数据来源？保留CSV的首行作为表头，并且每一个...
MaxCompute安全白皮书
当用户向MaxCompute发送请求时，首先需要将发送的请求按照MaxCompute指定的格式生成签名字符串，然后使用AccessKey Secret对签名字符串进行加密以生成请求签名。MaxCompute收到用户请求后，会根据AccessKey ID使用正确的AccessKey Secret对...
文档更新动态（2022年）
更新说明 配置网络、数据服务概述 2022年10月25日 逻辑表功能优化及SQL任务升级 逻辑表DML支持部分字段insert和动态分区。更新说明 创建并配置普通维度逻辑表、创建并配置层级维度逻辑表、创建虚拟维度逻辑表、创建枚举维度逻辑表 2022年10...
监控与报警
公网限速丢弃流出数据包 超过IPv6公网限速被丢弃的IPv6网关发送到公网的数据包数量。公网限速丢弃流入数据包 超过IPv6公网限速被丢弃的公网发送到IPv6网关的数据包数量。公网丢弃流出数据包 IPv6网关发送到公网被丢弃的数据包数量。公网...
安全白皮书
同时，云数据库Redis优化了Redis的同步机制，在同步位点上借鉴MySQL的GTID，实现了全局Opid，查找Opid的操作通过后台线程无锁进行，发送AOF binlog是异步同步的过程（可限流），保障了Redis服务的性能。全球多活 Tair 全球多活是阿里云自研...
2021年
2021-12-30 全部地域 MaxCompute湖仓一体概述 MaxCompute支持渐进式计算 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
- 产品推荐
- 这些文档可能帮助您