京希人行设备
配置示例为：人脸门禁设备000028 功能定义：选择已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：京希 门禁设备对外...
大华人行设备接入
配置示例为：人脸门禁设备000028 功能定义：大华 门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：大华 ...
富士人行设备
配置示例为：人脸门禁设备000028 功能定义：富士门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：富士...
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
罗格朗人行设备接入
其中：设备名称：参照甲方提供的设备信息表>，在 人行-罗格朗 TAB页查看设备 IP,例如10.249.38.253。然后在设备信息表>的 通用模板 TAB页，根据IP地址查找门禁控制器 设备IP 对应的 IoT编码，每个门禁设备的IoT编码不同。人脸门禁配置示例...
通力人行设备
配置示例为：人脸门禁设备000028 功能定义：通力 门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：通力 ...
宇视人行设备接入
其中：设备名称：参照甲方提供的<设备信息表>中的门禁设备的 IoT编码，每个门禁设备的IoT编码不同。人脸门禁配置示例为：HJSB-000205.1。其中"HJSB-000205"是该设备的IoT编码，".1"标识人脸门禁设备 设备别名：参照甲方提供的<设备信息表>...
数据湖管理FAQ
您的库表中表的数量过多，有几千个表，可能会导致同步超时。同步超时的表没有索引字段或者整型UNIQUE KEY字段，导致Presto计算Split任务运行超时。解决方案：您可以调整建仓高级配置，设置并发数为 connections-per-job=1。详情请参见文档 ...
通过控制台使用SQL查询
注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北5（呼和浩特）、华北6（乌兰察布）、华南1（深圳）、西南1（成都）、中国香港、新加坡、印度尼西亚（雅加达）、印度（孟买）...
配置及使用数仓分层检查器
数仓分层检查器用于规范目标分层中模型及指标的命名，制定模型及指标的命名规范，在模型和指标创建时，系统会根据该规范自动生成表名，模型发布成表后，使用方也能通过表名快速了解表的业务信息。本文为您介绍如何配置及使用数仓分层检查器...
访问域名
开服域名 Hologres在公共云中，不同地域及网络环境的服务连接对照表如下。表 1.公网网络已开服地域和服务连接对照表 地域 服务所在城市 公共网络Endpoint 华东1 杭州<instanceID>-cn-hangzhou.hologres.aliyuncs.com:80 华北2 北京...
OOM常见问题排查指南
关于该问题产生的原因、主要影响和解决方法具体如下：产生原因 元数据占用内存多 表现为Meta内存使用率高：表数据量增加，数据总量也随之增加，元数据占用内存多，当没有任务运行时，内存水位也会高，通常建议一个Table Group下不要超过...
表分区
PolarDB支持基本的表划分。本节介绍为何以及怎样把划分实现为数据库设计的一部分。简介 划分指的是将逻辑上的一个大表分成一些小的物理上的片。划分有很多益处：在某些情况下查询性能能够显著提升，特别是当那些访问压力大的行在一个分区...
功能发布记录（2022年）
2022.11.29 所有地域 所有DataWorks用户 通过向导模式生成API DataWorks数据地图支持申请Hive表权限 DataWorks 数据地图>EMR Hive表详情 页面，新增 申请权限 按钮，支持跳转至安全中心进行表权限的申请。2022.11.29 所有地域 所有...
通过DTS导入数据
否则您需要在 配置任务对象高级配置 步骤中勾选 库表结构同步，并在 配置库表字段 把该表配置为unique模型，同时需要您手动配置主键列。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报...
数据血缘
数据血缘可以用于查看表和表、字段和字段之间的血缘关系，从而辅助业务进行数据的溯源和管理，在作业异常时也可以帮助业务分析上下游作业影响。Hologres与DataWorks深度集成，您可以通过DataWorks的数据地图模块实现Hologres的数据血缘管理...
读写吞吐量
预留读/写吞吐量的更新规则如下：每个自然日内（UTC时间00:00:00到第二天的00:00:00，北京时间早上8点到第二天早上8点），上调或者下调预留读/写吞吐量的总次数不做限制，一张数据表上的两次更新的间隔必须大于1分钟。预留读/写吞吐量调整...
PolarDB MySQL版8.0.2版本发布日志
支持在多主集群（库表）中使用Concurrency Control和Statement Outline，当在多主集群（库表）的某个主节点上增加或删除Concurrency Control和Statement Outline后，集群上的其他主节点会自动同步增加或删除Concurrency Control和Statement...
RDS外部表
支持华北2（北京）、华东2（上海）、华北3（张家口）、华东1（杭州）、华南1（深圳）、中国（香港）、新加坡、德国（法兰克福）、美国（弗吉尼亚）地域通过 访问VPC方案（专线直连）连接MaxCompute和云数据库RDS，仅这九个地域可以创建RDS...
数据模型
user_id date city age sex last_visit_date cost max_dwell_time min_dwell_time 10000 2017-10-01 北京 20 0 2017-10-01 06:00:00 20 10 10 10000 2017-10-01 北京 20 0 2017-10-01 07:00:00 15 2 2 10001 2017-10-01 北京 30 1 2017-10-...
CREATE TABLE
CREATE TABLE语句用于在Lindorm宽表引擎或时序引擎中创建表，支持多种数据类型，例如VARCHAR、TIMESTAMP、BIGINT等；支持多种表属性，例如数据有效期TTL、压缩算法COMPRESSION等。您可以灵活搭配各种表属性和数据类型，设计出更贴合业务...
通过Flink SQL模式配置ETL任务
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
配置流程
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
测试指标
由于所有的压力测试为同步请求，故请求QPS与压力器数量和平均延时呈一定的关系，关系如下：Total QPS=1000/平均延时*5（压力器数量）*每台压力器的线程数 例如，在 4分区-5Runner-5 线程的场景下，如果平均延时为4ms，那么单线程的理论QPS...
SQL查询介绍
由于表格存储中原始表的列名大小写敏感，当使用SQL时，原始表的列名会统一转换为小写字母进行匹配，即如果要操作表格存储表中的Aa列，在SQL中使用AA、aa、aA、Aa均可，因此表格存储原始表的列名不能同时为AA、aa、aA和Aa。目前支持使用SQL...
使用教程（时序模型）
本文以表格存储Tablestore中的宽表作为上游数据源为例介绍如何使用实时计算Flink写数据到Tablestore的时序表中。背景信息 Tablestore的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景...
实时数据集成（Flink版）
物联网平台数据服务中的产品属性时序表、产品事件表和自定义存储表（时序表）数据，可以集成到阿里云实时计算Flink版中计算和分析，以便您实时分析和诊断设备的运行状况，实时检测运行故障等。本文介绍使用实时计算Flink版的连接器功能集成...
数据加密
为了保证表数据安全，表格存储 提供了数据落盘加密功能。您可以在创建数据表时配置数据表加密。背景信息 创建数据表时默认不加密，如果要配置数据表加密，需要在创建数据表时配置加密相关参数。表格存储 提供基于密钥管理服务（Key ...
宽表模型设计
数据表结构 假设存储车辆元数据的数据表名称为vehicles_metadata，表结构请参见下表。说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String 车辆识别代码，即车架号，用于唯一标识车辆。v_color String ...
Flink数据导入
步骤二：数据写入 通过SQL语句在Flink中创建源表和结果表，并通过源表和结果表将数据写入 AnalyticDB MySQL 中。步骤三：数据验证 登录 AnalyticDB MySQL 目标数据库，来查看并验证源数据是否成功导入。步骤一：数据准备 在其中一个Flink...
使用ETL分析实时订单
说明 时态表，也称动态表，是指基于表的（参数化）视图概念，根据时间记录数据变更历史，分为版本表（可显示数据的历史版本）和普通表（仅显示数据的最新版本）。时态JOIN要求流表定义时间属性，右表要有主键；如右表是维表，则您所设置的 ...
MySQL整库离线同步到OSS
您可根据在左侧 源端库表 区域，选中需要同步的源表，将其添加至右侧 已选库表 区域。配置 目标OSS文件属性。目标根路径，书写格式：di_to_oss_path/${bizdate}/，其中调度参数${bizdate} 表示业务日期，调度值填写$bizdate。等于调度日期...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您通过 匹配规则 入口选择同步对象，RDS PostgreSQL 实例需要订阅已选数据库的所有表（包括已选表、未选表和新增表），且所有表均需要包含主键，或者表级复制标识 REPLICA IDENTITY 为 FULL，否则将导致业务数据更新、删除操作失败。...
Phoenix全增量迁移
使用场景 跨地域迁移：例如从青岛机房迁移到北京机房。集群升配：从4核8G迁移到8核16G集群。业务拆分：将部分业务迁移到新的集群。功能列表 仅支持同版本之间Phoenix迁移，不支持phoenix 4.x跨版本迁移到phoenix 5.x。支持表结构迁移、实时...
PolarDB-X 2.0迁移至Tablestore
若迁移对象为表级别，且需进行编辑（如表列名映射），单次迁移任务的表数量超过5000时，建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务，否则任务提交后可能会显示请求报错。若源端 PolarDB-X 2.0 待迁移的表名中含大写...
配置源库信息
前提条件 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、华南3（广州）和中国香港创建ETL任务。当前源库支持 MySQL、PolarDB MySQL、Oracle、PostgreSQL、DB2 iSeries(AS/400...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
SQLServer增量同步模式 非堆表用日志解析增量同步，堆表用CDC增量同步：优点：支持源库堆表、无主键表、压缩表、含计算列表等场景。链路稳定性较高。能拿到完整的DDL语句，DDL场景支持丰富。缺点：DTS会在源库中创建触发器dts_cdc_sync_ddl...
2024-01-04版本
MySQL MongoDB作为源表支持表结构变更同步和自动加列 MongoDB作为源表时可以通过CTAS或CDAS语句将表结构变更同步到下游存储，支持自动加列。CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句 支持将MongoDB作为维表 MongoDB...
Blink和Flink常见问题及诊断
表类型 默认连接数（Flink作业的每个并发）Binlog源表 0 批量源表 1 维表 3（可以通过 connectionSize 参数调整）结果表 3（可以通过 connectionSize 参数调整）连接数计算方法 默认情况 默认情况下，作业使用的最大连接数可以通过如下公式...
- 产品推荐
- 这些文档可能帮助您