基础术语

D 代码压缩(H5)去除 JavaScript 代码中不必要的空格、换行等内容,或把一些可能公用的代码进行处理实现共享,最后输出的结果都压缩为几行内容,降低代码可读性。调用图混淆(iOS)调用图指函数间的交叉调用关系,是重要的程序宏观结构...

新建数据探查任务

随机抽样n记录:已选字段指定分区内随机抽取n记录进行探查。若可探查的总记录小于抽样,则返回全部记录。最多抽样10000记录。支持输入1~10000之间的整数。百分比抽样n%记录:已选字段指定分区内随机抽样n%的记录进行探查,非...

数据类型

例如,能在MergeTree表存储多维数组。元类型 Tuple Tuple Tuple(T1,T2,.),元,其中每个元素都有单独的类型,能在表存储元(除了内存表)。它们可以用于临时列分组。在查询,IN表达式和带特定参数的 lambda 函数可以来对...

创建同步RDS/MySQL/ADS3.0

HostRDS服务地址,请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到RDS表 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据,即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复...

CDH Hive数据抽样采集器

您可以通过DataWorks的数据抽样采集器功能,CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则,那么在数据地图表详情页面进行数据预览时,命中的敏感字段将会被脱敏。本文为您介绍...

公共数据集成(调试)资源

公共数据集成(调试)资源的性能限制 由于公共资源容量有限,单租户任务并发最大超过5并发。已建立存量任务并发限制保持不变。公共数据集成(调试)资源的其他注意事项 公共数据集成(调试)资源新建任务支持跨主账户任务...

API概览

本文汇总了 PolarDB-X 1.0 支持的API接口。实例管理 API 描述 CreateDrdsInstance 该接口用于创建一个 PolarDB-X 1.0 实例。DescribeDrdsInstance 该接口用于查询 PolarDB-X 1.0 实例详情。DescribeDrdsInstances 该接口用于查询 PolarDB-X...

表删除,更新和合并

在这个部分:写入Delta表时的重复数据删除 缓慢将数据(SCD)类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表来将日志收集到...

配置ClickHouse输出组件

批量条数:数据同步过程每一次写入数据的,默认为65536。如果您同时配置了 批量插入字节大小 和 批量条数 两个参数,则数据同步的速度决于第一个达到预设值的参数。解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据...

内建函数概述

LAST_VALUE 当前行所对应窗口的最后一条数据的值。NTH_VALUE 当前行所对应窗口的第N条数据的值。CLUSTER_SAMPLE 用户随机抽样。返回True表示该行数据被抽。COUNT 计算窗口的记录。MIN 计算窗口的最小值。MAX 计算窗口的最大...

pg_type

typndims int4 对于一个数组上的域,typndims 是数组维度(即,typbasetype 是一个数组类型)。除数组类型上的域之外的类型的此列为0。typcollation oid 指定此类型的排序规则。如果类型支持排序规则,此列为0。一个支持排序规则的基...

管理蓝图资源

常量 蓝图关于基础数据类型的节点,包括但限于数字、数组、字符串、布尔、对象和空值。指令 调用指令系统,触发对应的效果(指令系统会统一控制执行时机),蓝图对对象、组件、数据进行指令控制的节点,包括但限于组件、对象实例和...

资源说明

资源分类 资源是用于执行具体任务的服务,如接收调度引擎的指令执行SQL任务、数据同步任务,也包括按数据API的定义提供数据服务。按使用场景,资源分为两类:系统资源:由企业数据智能平台提供,供所有用户使用,对于QPS和并发有...

DataWorks数据服务对接DataV最佳实践

DataWorks数据服务提供了快速将数据表生成API的功能,通过可视化的向导模式操作,无需代码便可快速生成API,然后通过DataV调用API并在大屏展示数据分析结果,高效实现仓的开发和数据的展示。前提条件 要想实现DataWorks数据服务与DataV...

数据采样

否 按行 按行 按比例 随机采样-按行、固定区域采样-按行 参数名 参数描述 是否必填 参数默认值 参数范围 采样行 采样原始数据的(该值需小于等于原始数据总行)。否 1[0,99999999]随机采样-按比例、固定区域采样-按比例、...

常用案例

说明 本案例实现的是数组去重,您可以通过传指定字段返回去重数据,如示例数据根据 y 字段去重,uniq(data,['y']),返回数据为[{"x":"服饰","y":800 },{"x":"食品","y":779 },{"x":"建材","y":180 },{"x":"服饰","y":192 }],y 字段值相同...

度量报表

注意事项 为了保证报表数据的准确性,请确认以下几点:本地 git config 配置的 Email 和平台已绑定的主邮箱一致,注意大小写敏感,邮箱字母需要完全匹配,如何设置参见FAQ:提交作者显示和当前用户名一致 提交时间相关统计以本地系统...

其他函数

X 还支持如下函数:函数名​ 描述​ RAND()返回0到1的随机数 UUID()返回UUID UUID_SHORT()返回值是一个unsigned long long类型的UUID PolarDB-X 支持如下函数:函数名​ 描述​ ANY_VALUE()选择被分到同一的数据里第一条数据的指定列值...

新建完整性能评估任务

源集群 下拉列表选择需要恢复数据的源端集群。源租户 下拉列表选择需要恢复数据的租户。恢复时间点 选择需要恢复的时间点。页面会提示您最近可恢复时间,请根据业务需求进行选择。目标实例 下拉列表选择需要将数据恢复到其中的...

绑定或解绑数据库账号

背景信息 AnalyticDB MySQL版 仓版(3.0)弹性模式集群版(新版)支持不同数据库账号绑定到不同的资源,通过资源隔离实现计算任务的优先级调度,保障核心业务受复杂计算和突发状况影响,同时将不同的查询分类,合理分配资源使集群...

ST_IsRandomSampled

对一张表的所有数据调用该函数时,为使被采样的记录条数尽量接近sample_rate和表格记录总数的乘积,参数tuple的值应不重复。示例-一半的结果是true,另一半是false SELECT ST_IsRandomSampled(ROW(id),50)FROM table;对百分之八十的Geom,...

通过上传本地数据新建数据

上传本地文件的方式导入业务所需的数据集,以便在模型画布编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源,具体操作,请参见 新建计算资源。已准备好待上传的数据表...

使用程序进行大数据导入

本文介绍如何通过编写代码的方式,离线导入大数据量到 PolarDB-X 1.0 数据库。背景信息 假设当前数据库有一个表需要导入到 PolarDB-X 1.0 数据数据量大致为814万,表结构如下。CREATE TABLE `post`(`postingType` int NOT NULL,`id` ...

常见问题

服务门户 魔笔的表达式文档 请问如何获取应用的ID?...魔笔三个环境指什么?魔笔开发,组件开发使用的是哪些技术栈?魔笔应用可以部署到任意地方去运行吗?物料中心 魔笔初始化...魔笔使用导入控件导入数据时,如何重复数据导进去。

RestAPI(HTTP形式)数据

multiData:返回的JSON中取一个JSON数组,传递多数据给writer。是 无 responseType 返回结果的数据格式,目前仅支持JSON格式。是 JSON column 读取字段列表,type指定源数据的类型,name指定当前column数据获取的JSON路径。您可以指定...

新增消费

一个数据订阅实例最多可以创建20个消费,通过创建多个消费可以实现数据的重复消费。一个消费只能创建一个消费者(consumer),并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换,则可能会导致数据重复。操作步骤 ...

新增消费

注意事项 一个数据订阅实例最多可以创建20个消费,通过创建多个消费可以实现数据的重复消费。一个消费只能创建一个消费者(consumer),并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换,则可能会导致数据重复。...

Python

cities 表插入两组数据 sql="insert into cities values(1,'hangzhou'),(2,'shanghai')"cur.execute(sql)#查询 cities 表的所有数据 sql='select*from cities' cur.execute(sql)ans=cur.fetchall()print(ans)#删除表 cities sql='drop ...

诊断报告

功能描述 Node.js 性能平台的诊断功能,大都某一个特定角度,例如针对内存问题的堆快照,针对CPU问题的Profiling,通过一定时间的信息采集来协助定位问题。诊断报告则一个全局的视角抓住进程的瞬时状态,采集了堆栈,系统资源,平台...

赋值节点

赋值节点下游获取赋值节点结果集outputs时,需要根据outputs具体情况,以${参数名} 的格式,使用 一维数组 或 二维数组 的方式在代码中获取赋值节点传递的结果集、或结果集中的指定数据。赋值节点使用流程 配置赋值节点:定义outputs结果集...

DLA Lakehouse实时入湖

DLA Lakehouse实时入湖方案利用数据湖技术,重构仓语义;分析数据数据,实现仓的应用。本文以RDS MySQL数据源为例介绍了RDS MySQL入湖到分析的操作步骤。背景信息 数据湖分析(Data Lake Analytics)是⽬前炙⼿可热的⽅向,主要是...

配置资源与网络连通

数据同步任务配置前,您需要确保用于执行同步任务的独享数据集成资源与您将要同步的数据来源端与目的端数据库的网络连通性,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境...

创建PolarDB-X数据

通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X(原DRDS升级版)是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...

PolarDB MySQL版迁移至PolarDB-X 2.0

待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库出现重复数据。如迁移对象为表级别,且需进行编辑(如表列名映射),则单次迁移任务仅支持迁移至多1000张表。当超出数量限制,任务提交后会显示请求报错,...

do-while节点最佳实践

本文为您介绍通过循环的方式依次处理一组数据的每一行的复杂场景。前提条件 请在操作前,先了解do-while节点逻辑,详情请参见 do-while节点逻辑原理介绍。背景信息 循环节点循环输出赋值节点结果集。需要部署一个上游节点,能够把查询出的...

偏最小二乘回归

是 0.2[0,1]测试集生成方式 随机:按比例随机从输入数据中截取n条数据作为测试集;头部:按比例将输入数据前n条数据作为测试集;尾部:按比例将输入数据后n条数据作为测试集。剩余部分作为训练集。是 随机 随机 头部 尾部 其他参数 参数名 ...

DescribeRdsList

调用DescribeRdsList接口查询PolarDB-X数据库的所有RDS。请求参数 参数名 类型 是否必须 说明 Action String 是 系统规定参数,取值:DescribeRdsList。DrdsInstanceId String 是 PolarDB-X实例ID。DbName String 是 数据库名。返回值 参数...

支持的数据脱敏算法

身份证映射替换 行政区划随机码表 敏感类型:个人敏感 企业敏感 设备敏感 适用场景:数据存储 数据分享 身份证随机替换 行政区划随机码表 军官证随机替换 种类编码随机码表 护照随机替换 用途字段随机码 港澳通行证随机替换 用途字段随机码...

质量规则参数配置

如果需要重复数据的全部行/重复率计算,可以使用唯一值校验模板的异常行/异常率指标。及时性、有效性 异常行/正常行/异常率/正常率 正常行:唯一值行。正常率:唯一值行/总行。异常行:总行-正常行,即 count 大于2...

创建业务流程

本文为您介绍如何创建业务流程,在业务流程创建节点并配置依赖关系。完成创建后,您可以利用数据开发功能,对工作空间的数据进行深入分析和计算。前提条件 开始本操作前,请确保您已经在工作空间准备好业务数据表 bank_data 和其中的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 云数据库 RDS 数据库备份 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用