联邦预处理
本文介绍了联邦预处理场景中的 API 及示例。重要 本文涉及 API 中所有的占位符，例如"$df0"，必须包含单引号或双引号。缺失值填充 函数路径 fascia.biz.preprocessing.fillna 函数定义 def fillna(fed_df:HDataFrame,columns:List[str]=...
离线数据存储概述
时序表和快照表 您可以使用时序表和快照表，从产品 和IoT孪生引擎 维度，查看设备上报的物模型属性和事件数据。产品存储表仅包括上报的属性和事件数据，更多信息，请参见 查看产品存储表。物模型的更多信息，请参见 什么是物模型。自定义...
计费说明-半托管
数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数...
变更表类型及拆分规则（DRDS模式）
PolarDB-X 新增支持变更表的类型（即在单表、拆分表和广播表三者间进行相互转换），和变更拆分表的拆分规则（包括拆分函数或拆分列）。本文介绍相关语法和示例，本语法仅适用于DRDS模式数据库。前提条件 仅内核小版本为5.4.8或以上的 ...
我的数据
方式二：命令行转交数据表 您也可通过命令格式，修改表的所有人（即表Owner），实现转交数据表的操作。命令格式 alter table<table_name>changeowner to;参数说明 table_name：必填。待修改Owner的表名。new_owner：必填。修改后的Owner...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
配置并管理实时同步任务
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
配置并管理实时同步任务
单击 刷新源表和 AnalyticDB for MySQL 3.0表映射 将根据您在步骤3配置的目标表名映射规则来生成目标表，若步骤3未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标...
管理治理工作台
治理工作台为您提供治理物理表、逻辑表、脚本任务和逻辑表的操作。本文为您介绍如何治理物理表、逻辑表、脚本任务和逻辑表任务。背景信息 治理工作台是面向项目管理员和开发者提供的一站式的治理功能，工作台中根据治理领域、治理对象、...
管理治理工作台
治理工作台为您提供治理物理表、逻辑表、脚本任务和逻辑表的操作。本文为您介绍如何治理物理表、逻辑表、脚本任务和逻辑表任务。背景信息 治理工作台是面向项目管理员和开发者提供的一站式的治理功能，工作台中根据治理领域、治理对象、...
ANALYZE
如果没有 table_and_columns 列表，则 ANALYZE 处理当前用户有权分析的当前数据库中的每个表和物化视图。使用列表，ANALYZE 仅处理那些表。还可以给出表的列名列表，在这种情况下，仅收集这些列的统计信息。当选项列表用括号括起来时，选项...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
支持的连接器
本文为您介绍Flink全托管支持的表类型的定义和连接器。表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表（Source Table）...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
MySQL分库分表同步至MaxCompute
每一个同步表的限定条件分为库限定条件和表限定条件，您可以在 源表选择限定条件 和 源库选择限定条件 区域单击 添加条件 分别添加限定条件，同步任务执行时将依据此规则对于源库和源表进行搜索整合，作为目标表的分库分表来源。...
MySQL分库分表同步至MaxCompute
每一个同步表的限定条件分为库限定条件和表限定条件，您可以在 源表选择限定条件 和 源库选择限定条件 区域单击 添加条件 分别添加限定条件，同步任务执行时将依据此规则对于源库和源表进行搜索整合，作为目标表的分库分表来源。...
一键实时同步至Hologres
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
配置并管理实时同步任务
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
MySQL分库分表同步至Hologres（方案1.0）
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
数据集成侧同步任务配置
示例：对上一步源表名和目标表名转换规则转换后的表名做进一步字符串拼接处理，使用${db_table_name_src_transed}代表上一步的处理结果“my_table”，再为该内置变量增加前缀和后缀，例如，pre_${db_table_name_src_transed}_post，最终就...
Delta Lake 快速入门
此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也...
一键实时同步至AnalyticDB for MySQL 3.0
单击 刷新源表和 AnalyticDB for MySQL 3.0表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为...
创建数仓分层
个性化处理的场景示例：抽象出TMP（临时表）层，在创建表时严格将表归属到对应分层，对每个分层设定一些标准和校验规则，譬如命名规范、生命周期设置等。进入 数仓分层。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，...
二级索引
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录 数据资源平台...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录企业数据智能...
MySQL分库分表实践
本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
使用FTP的注意事项
详细信息 FTP有二进制和ASCII两种上传文件的模式，需要根据不同的场景进行选择，具体信息如下所示。可执行文件、紧缩文件和图片推荐采用二进制方式上传。HTML文件和文本文件推荐采用ASCII方式上传。常用的FTP客户端会根据文件类型自动选择...
步骤二：初始化环境
名称部分最多 63 个字符，以[a-z]、[0-9]、[A-Z]开头和结尾，且中间包含数字字母和_-.前缀是可选的，使用时须符合 DNS subdomain 规范，即一系列 DNS label 用.拼接，总长度不超过 253 个字符，kubernetes.io/及 k8s.io/为保留前缀。...
pg_am
目前只有表和索引拥有访问方法。列名称 列类型 描述 oid oid 行标识符。amname name 访问方法的名字。amhandler(references pg_proc.oid)regproc 负责提供有关该访问方法信息的处理器函数的OID。amtype char t：表（包括物化视图）。i：...
Windows系统实例的宕机问题排查
更多信息，请参见 常见宕机原因和解决方案。方式二：通过系统事件定位 登录 ECS管理控制台，左侧导航栏单击 事件。在左侧导航栏单击 非预期运维事件。单击发生宕机运维事件实例右侧的 诊断操作系统错误根因，诊断实例宕机原因。根据返回的...
ModifyMailAddress
至少包含 2 位数字、2 位大写字母和 2 位小写字母，并且数字和字母均不能只由单一字符重复组成。不能与上一次设置密码相同。ReplyAddress String 否 a*@example.net 回信地址 返回数据 名称 类型 示例值 描述 RequestId String 10A1AD70-E...
ModifyPWByDomain
至少包含 2 位数字、2 位大写字母和 2 位小写字母，并且数字和字母均不能只由单一字符重复组成。不能与上一次设置密码相同。Action String 否 ModifyPWByDomain 系统规定参数。取值：ModifyPWByDomain。返回数据 名称 类型 示例值 描述 ...
产品架构
边缘端：终端设备接入边缘一体机后，边缘一体机可以实现终端设备数据的采集、流转、存储、分析和上报设备数据至云端，同时边缘一体机也提供容器服务、边缘函数计算，方便场景编排和业务扩展。边缘端架构详情，请参见本文下方 边缘端架构 ...
表设计规范
表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，...
无锁结构变更方案对比
锁表变更对业务甚至是致命的，DDL无锁变更通过引入非触发器的方式可以解决大表无锁变更这个难题。本文介绍几种无锁结构变更方案的对比。线上业务不建议直接进行DDL操作，通常有几种做法来避免影响业务：业务低峰期变更：合适的变更窗口以及...
新建镜像表
镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。背景信息 如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您...
- 产品推荐
- 这些文档可能帮助您