配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。本文为您介绍如何配置表的质量监控规则并执行质量监控及其他相关操作。前提条件 已采集引擎...
配置无线
无线类型 无线类型。取值：2.4G：表示无线支持2.4G频段的Wi-Fi信号。5G：表示无线支持5G频段的Wi-Fi信号。2.4G，5G：表示无线同时支持2.4G频段和5G频段的Wi-Fi信号。VLAN 虚拟局域网。取值范围：1~4094。当 VLAN 取值为1时表示与LAN共用...
通过文件管理优化性能
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0，...
注册AP
阿里云优化了传统无线网络架构和协议，能够稳定可靠地支持高密度覆盖以及复杂的企业和商业需求，可简单地实现网络的大规模部署和自动上线并配置AP。操作步骤 登录 终端访问控制系统控制台。在左侧导航栏单击 网络>AP列表。在 AP列表 页面...
数据存储冷热分层
使用方法 重要 迁移到冷表的过程中会有建立临时表并写入数据，以及将数据上传至OSS的过程，会存在一定的本地I/O和网络I/O，可能对实例中已经运行的查询产生一定的性能影响，使用时请注意对业务的影响。热表转为冷表后其占用的本地磁盘空间...
支持的数据库
源库 目标库 同步类型 同步拓扑 配置文档 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 库表结构同步 全量数据同步 增量数据同步 单向同步 双向同步 自建MySQL...
迁移方案概览
4.3、6.0、7.0版本 库表结构迁移 全量数据迁移 增量数据迁移 PolarDB-X 1.0迁移至云原生数据仓库 AnalyticDB PostgreSQL 版 DataHub 库表结构迁移 增量数据迁移 PolarDB-X 1.0迁移至DataHub Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 库...
同步方案概览
源库 目标库 同步类型 同步拓扑 配置文档 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 库表结构同步 全量数据同步 增量数据同步 单向同步 双向同步 自建MySQL...
宽表模型介绍
宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部...
通过Lindorm Shell访问宽表引擎
Lindorm Shell基于HBase Java API连接Lindorm宽表引擎，进行创建表、插入、查询等数据操作。本文介绍如何下载Lindorm Shell并连接Lindorm宽表引擎。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已将客户端IP地址添加至 云原生多...
购买UEM
使用终端访问控制系统的功能之前，您需要先...智能接入AP：无线网络接入点设备，型号为AP4220。单击 立即购买 并完成支付。后续步骤 购买UEM实例后，您可以登录UEM管理控制台，配置已购买的实例，详见 产品创建及初始化。相关文档 计费模式
接入企业办公网
接入企业办公网 步骤一：创建企业无线网络实例 登录 办公安全平台控制台。在左侧导航栏，选择 办公网准入>准入配置。在 WIFI管理 页签，单击 新建网络实例。在 企业无线网配置 对话框，配置如下信息。配置项 说明 网络SSID 输入您的网络...
如何抓取网络包
这种抓包模式的一种常见网络链接配置如下：用一台 Mac 或 PC 作为抓包设备，该机器需要提前配置好双网卡，其中一块网卡需要有发射无线热点的能力。客户端通过 Wi-Fi 连接到配置好的无线热点中，Mac 或 PC 的另一块网卡接入正常网络。启动抓...
查看自有权限资产
指在运营模块自动注册的表资产，以及该工作组下创建的资产，创建的资产包括表资产和API资产。本文介绍如何查看自有权限的资产。前提条件 在运营模块已成功订阅表资产，具体操作，请参见 资产注册。在数据建模模块已创建并物理化逻辑表，...
查看自有权限资产
指在运营模块自动注册的表资产，以及该工作组下创建的资产，创建的资产包括表资产和API资产。本文介绍如何查看自有权限的资产。前提条件 在运营模块已成功订阅表资产，具体操作，请参见 资产注册。在数据建模模块已创建并物理化逻辑表，...
基于ACK One构建混合云同城容灾系统
混合云同城容灾系统架构 基于ACK One的注册集群、多集群舰队（GitOps可选）、多集群网关构建的混合云场景的同城多活容灾系统如上图所示：阿里云的云上资源都在1个VPC中（如图中VPC 1），在AZ1创建ACK集群，在AZ2中创建注册集群；...
附录：全局和项目角色权限说明
查看SQL 新建目录 编辑目录 删除目录 新建SQL 编辑SQL 保存SQL 删除SQL 分享SQL 删除分享SQL 运行 SQL 手工表 查看 查看目录 查看手工表 新建手工表 编辑数据-手工表 编辑表结构-手工表 保存-手工表 发布-手工表 下载-手工表 分享-手工表 ...
Flink全托管
Hologres Catalog Flink全托管支持Hologres Catalog，在Flink全托管控制台直接读取Hologres元数据，不用再手动注册Hologres表，可以提高作业开发的效率且能保证表结构的正确性，详情请参见 管理Hologres Catalog。基于Hologres Catalog，...
汽车行业：智能辅助驾驶业务遭遇大表瓶颈，小鹏汽车...
客户价值 大表分析查询速度提升3.6倍 以数据统计业务为例，大表（这里简称为 xxx）的表大小为7.6 TB，通过如下语句查询：select count(1)as cnt from xxx where create_time>='2024-03-19 01:00:00' and create_time;未使用 ePQ 查询，采用...
逻辑表表达式
本文介绍在新建逻辑表时，输入逻辑表表达式的规则。简单规则 规则 举例说明 自然序 test_[0-7]：创建8张表。自然对齐序 test_[00-07]：创建8张表，表名两位对齐。test_[000-007]：创建8张表，表名三位对齐。test_[0000-0007]：创建8张表，...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域...
Hologres结果表
Hologres与实时计算Blink独享模式（原产品线）深度融合，支持使用Connector的方式写入数据至Hologres结果表，您可以立即查询写入的数据。本文为您介绍实时计算Blink独享模式（原产品线）如何写入数据至Hologres结果表。使用限制 不同Blink...
同步时源库为PolarDB-X 2.0的注意事项及限制
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。Binlog日志：在PolarDB-X 2.0控制台参数设置...
MySQL
类别 详情 支持类型 源表、维表和结果表 运行模式 仅支持流模式 数据格式 暂不适用 特有监控指标 源表 currentFetchEventTimeLag：数据产生到拉取到Source Operator的间隔。该指标仅在Binlog阶段有效，Snapshot阶段该值恒为0。...
管理Hologres Catalog
配置Hologres Catalog后，您可以在实时计算开发控制台直接读取Hologres元数据，无需再手动注册Hologres表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置、查看及删除Hologres Catalog。使用限制 仅Flink 1.13及以上版本...
特征工程
通过推荐算法定制生成的特征工程，对原始数据集（包括用户表、物料表和行为表等）进行处理，并生成新的特征表，以供后续的召回和排序使用。前提条件 已开通PAI（Designer），并创建默认工作空间。具体操作，请参见 开通PAI并创建默认工作...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作以及如何将表转换为DataFrame对象。背景信息 PyODPS提供对MaxCompute表的基本操作方法。操作 说明 基本操作 列出项目空间下...
新功能发布记录
恢复库表 2023年9月 PolarDB MySQL版 库表恢复 PolarDB MySQL版 库表恢复支持百万级海量表能力，突破原有5万表数量上限，满足误删数据的快速恢复、SaaS海量库表要求。库表恢复 2023年8月 RDS SQL Server 跨地域备份 RDS SQL Server 开启了...
MySQL整库同步Kafka
在使用中，同一张MySQL表可能被多个作业依赖，当多个任务使用同一张MySQL表做处理时，MySQL数据库会启动多个连接，对MySQL服务器和网络造成很大的压力。为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的...
MaxCompute+API 数据源
本文将介绍以MaxCompute为数据源时如何添加表。前置条件 了解MaxCompute，如果您对MaxCompute 没有过多的了解，可 什么是MaxCompute 进行参考；...2、表管理 界面开始配置表基础信息，填写表名称，分片数和数据更新资源数：配置说明：表名称：...
整体流程和预估时间
当发生部分表的误操作时，可进行库表恢复，将误操作的某张表或某些表恢复到原集群。库表恢复分为按时间点恢复和按备份集（快照）恢复，两者的区别在于要恢复至的时间点是否是备份集的时间点。如果是备份集的时间点，则可选择按备份集（快照...
配置并管理实时同步任务
在 选择同步的源表 区域，为您展示所选数据源下所有的表，您可以在 源端库表 区域选中需要同步的整库全表或部分表，并单击 图标，将其移动至 已选库表。重要 如果选中的表没有主键，将无法进行实时同步。在 设置表名到Topic的映射规则 区域...
一键实时同步至DataHub
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
实时数仓Hologres
类别 详情 支持类型 源表、维表和结果表 运行模式 流模式和批模式 数据格式 暂不支持 特有监控指标 源表：numRecordsIn numRecordsInPerSecond 结果表：numRecordsOut numRecordsOutPerSecond currentSendTime 说明 指标含义详情，请参见 ...
通过Hive连接并使用宽表引擎
本文主要介绍如何通过Hive访问Lindorm宽表。前提条件 宽表引擎为2.4.3及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。已将客户端IP地址添加至Lindorm白名单。如何添加，请参见 设置白名单。已获取宽表引擎的...
物联网无线连接服务的审计事件
物联网无线连接服务已与操作审计服务集成，您可以在操作审计中查询用户操作物联网无线连接服务产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计...
迁移时源库为PolarDB-X 2.0的注意事项及限制
如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，Binlog...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
- 产品推荐
- 这些文档可能帮助您