使用Python3 Kernel运行EMR PySpark
在E-MapReduce的JupyterHub中，您可以直接运行Python任务，也可以通过Python3 Kernel中的魔术命令PySpark和SQL运行任务。本文通过示例为您介绍如何运行Python3 Kernel任务，以及Python3 Kernel中的魔术命令PySpark和SQL中的参数。前提条件 ...
配置孪生规则
支持的运算符和函数，请参见 规则表达式。表达式中变量的字段名称必须使用 输入参数 中的 参数名称 字段。表达式中包含多个入参时，任何一个属性值变更，都会触发规则。执行规则时，其他入参的值，取对应节点属性的最新快照值。例如：定义...
ALL_IND_EXPRESSIONS
简介 all_ind_expressions 视图是 PolarDB PostgreSQL版（兼容Oracle）中的一个系统视图，提供了关于数据库中所有索引表达式的信息，但仅限于当前用户有权限访问的表达式索引。表达式索引是基于表中一列或多列的表达式建立的索引，可以提高...
配置相邻消息计算
此处支持四则运算和表达式节点中支持的所有函数，使用方法，请参见 配置表达式。以电表场景为例：如果需要求出每小时的增量用电量，可使用当前用电量上报值减去前一次用电量上报值。计算表达式为：${current_var}-${pre_var}。高级配置 ...
正则解析
单击 自动生成正则表达式，然后在 日志样例 文本框中，划选需提取的日志内容，单击 生成正则，日志服务 会根据您划选的内容，生成正则表达式。单击 手动输入正则表达式，输入正则表达式。配置完成后，单击 验证 即可验证您输入的正则表达式...
使用正则表达式检测标签值的合规性
您可以在标签策略中设置标签值需要满足正则表达式。对不满足正则表达式的标签值，支持自动修复。前提条件 请确保您已经启用了标签策略功能。具体操作，请参见 启用标签策略。背景信息 支持标签自动检测和修复的云服务都支持正则表达式检测...
添加识别特征
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效识别，进入该字段的识别结果中比较。按字段名称扫描：根据元数据中...
添加识别特征
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效识别，进入该字段的识别结果中比较。按字段名称扫描：根据元数据中...
白名单管理
正则模式：白名单内容为多个正则表达式，只要满足其中任一正则表达式，即代表命中白名单。添加白名单的用户信息 单击白名单列表中指定白名单右侧的 增加，在弹出的窗口中输入要加入白名单的用户 ID 或正则表达式。添加普通类型白名单用户 ...
调试场景
在 测试出参正则 对话框，选择来源格式，填写正则表达式，指定为第几个匹配项。单击 测试表达式。通过响应详情匹配结果，预判提取的内容是否符合预期。若需重新设置出参，则单击 同步出参配置，将此正则表达式同步到该API的出参列表中。...
时间表达式语法
时间表达式的计算单元为±{num}{unit} 或@{unit}，其中 {num} 为正整数，{unit} 为时间单位。如果操作符为加号（+）、减号（-），则计算单元的格式为±{num}{unit}。其中 {num} 可省略，省略后的默认值为1。例如时间表达式为-h，则表示减1...
中文和时间
对应Python 3.x中的bytes类型。unicode unicode流。其长度是字符数，如 u'中文' 的长度是2。Python 3.x支持以下两种数据类型：数据类型 描述 str 字符串。对应Python 2.x中的unicode类型。bytes 字节流。其长度是字节数，如 b'中文' 的长度...
环境要求与配置
环境配置 推荐使用Python 3.6及以上版本。Python Link SDK在下面的操作系统上进行了验证，为了避免开发与运行时出错，请尽量选用与阿里云一致的软件环境。Linux：Ubuntu 18.04 64-bit及以上版本。Windows：Windows 7 64-bit及以上版本。...
转换函数
本文主要介绍操作符函数的语法规则，包括参数说明、函数示例等。函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。ct_float 将字段或表达式的值转换为浮点数。ct_str 将字段或表达式的值转换为字符串。...
选择列表
不过选择列表中的这个表达式并非一定要引用来自 FROM 子句中表表达式里面的列，例如它也可以是任意常量算术表达式。列标签 选择列表中的项可以被赋予名字，用于进一步的处理。例如为了在一个 ORDER BY 子句中使用或者为了客户端应用显示。...
使用Python访问Hologres
本文将指导您使用psycopg2访问Hologres，示例使用的操作环境为基于CentOS 7系统的Python 3.8版本。安装Python3.8 您可以基于Miniconda、Anaconda安装Python 3.8环境。如下内容以CentOS 7系统为例，安装Python 3.8版本。安装Python 3.8。您...
Range
语法 表达式.Range.UnMerge({ CancelCenter })表达式：文档类型应用对象 参数 属性 数据类型 是否必填 描述 CancelCenter Boolean 否 是否将指定区域中的单元格合并居中。取值范围如下：false（默认）：否。true：是。示例 async function ...
配置规则：按表（单表）
自定义规则：若模板规则无法满足您对分区表达式中数据质量的监控需求，则可使用自定义规则。通常，数据表的内容较多且繁杂，为避免全表扫描，两类规则均是基于分区表达式创建，用于监控指定分区的表数据情况。因此，创建规则前，您需先 ...
推送规则设置
如何书写正则表达式 提交邮箱 即 git config 设置的邮箱，规则请使用正则表达式书写，提交作者邮箱需符合正则表达式匹配才允许推送，为空表示允许所有邮箱。如何书写正则表达式 禁止强制推送（Force Push）强制推送即强制用本地代码覆盖...
新建及管理识别规则
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。说明 扫描范围的规则不超过5条，关系不超过2层。数据板块和项目选择不超过100个对象。单击 确定，完成识别规则创建。完成识别规则...
新建及管理识别规则
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。说明 扫描范围的规则不超过5条，关系不超过2层。数据板块和项目选择不超过100个对象。单击 确定，完成识别规则创建。完成识别规则...
TensorFlow（仅对存量用户开放）
Data Science集群内置Python 3的Tensorflow 1.15.0版本，可以直接使用。其中Master节点只支持购买CPU资源计算TensorFlow作业，Core节点支持购买CPU或GPU资源计算TensorFlow作业。本文主要介绍如何查看TensorFlow的版本、切换TensorFlow版本...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
在DataWorks上运行PySpark作业的最佳实践
sudo docker exec-it python3.7 bash pip install[所需依赖库]#vi requirements.txt#pip install-r requirements.txt#numpy#pandas cd/usr/local/zip-r python3.7.zip python3/拷贝容器中的Python环境到宿主机。在宿主机运行命令将虚拟环境...
模拟数据生成Faker
示例 本文结合Java Faker API文档和 语法结构 部分中的age字段表达式 'fields.age.expression'='#{number.numberBetween ''0'',''1000''}' 为例，为您介绍如何为DDL中的字段正确地生成SQL表达式。在 Java Faker API文档 中，找到Number类。...
Python脚本示例
本文介绍Python语言的自定义Topic消息解析脚本模板和示例。脚本模板 SELF_DEFINE_TOPIC_UPDATE_FLAG='/user/update'#自定义Topic：/user/update。SELF_DEFINE_TOPIC_ERROR_FLAG='/user/update/error'#自定义Topic：/user/update/error。将...
如何在Debian 9上安装Python 3.7
概述 本文主要介绍如何在Debian 9上安装Python 3.7。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议...
当我运行Python语言的函数时，遇到报错NoneType ...
可能原因 在Python3的运行环境中，您将返回值设置为不可迭代的Bytes了。解决方案 请将返回值设置为可迭代的Bytes，例如[json.dumps(result).encode()]。您可以参考以下示例修改函数代码：import json def handler(environ,start_response):...
表格
使用方法 表达式.Enum.XlPasteSpecialOperation.xlPasteSpecialOperationAdd 表达式：文档类型应用对象 参数 字段 值 描述 xlPasteSpecialOperationAdd 0x1 复制的数据目标单元格中的值相加。xlPasteSpecialOperationDivide 0x4 复制的数据...
通用聚合函数
bit_or(c1)3 bit_or(int)对INT类型表达式中的非空值执行按位或运算。bit_or(c1)3 bool_and(bool)如果BOOL表达式的值均为TRUE，则函数结果返回TRUE，否则返回FALSE。bool_and(c1)f bool_or(bool)如果BOOL表达式的值包含TRUE，则函数结果返回...
ActiveSheet
} ActiveWorkbook.ActiveSheet.Unprotect()通过 Unprotect()方法，您可以解除活动工作表中的保护，如果活动工作表未受保护，则此方法无效。语法 表达式.ActiveWorkbook.ActiveSheet.Unprotect({ Password })表达式：文档类型应用对象 参数 ...
新建及管理数据分类
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效识别，进入该字段的识别结果中比较。按字段名称扫描：根据元数据中...
新建及管理数据分类
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效识别，进入该字段的识别结果中比较。按字段名称扫描：根据元数据中...
PySpark开发示例
spark.hadoop.odps.cupid.resources=public.python-3.7.9-ucs4.tar.gz spark.pyspark.python=./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3 第三方库列表如下。Package Version-appnope 0.1.0 asn1crypto 0.23.0 ...
Dataphin中创建python自定义函数方法
产品名称 Dataphin 产品模块 自定义函数 概述 描述如何创建python自定义函数。问题描述 请问在Dataphin中如何创建python自定义函数？问题原因 NA 解决方案 第一步：创建python脚本，如图：第二步：资源管理上上传python脚本。第三步：创建...
表达式
表达式是数字、算符、数字分组符号、自由变量和约束变量等的组合。在魔笔中，您可以通过运算符、函数以及变量组成表达式，并在工作流操作中调用表达式，以实现对应的业务功能。关于表达式的详细说明，请参见 表达式。
应用授权规则列表
opensearch:UpdateApp apps/$appGroupName CreateFirstRank 创建应用版本的粗排表达式配置 opensearch:WriteFirstRank apps/$appGroupName RemoveFirstRank 删除应用版本的粗排表达式配置 opensearch:WriteFirstRank apps/$appGroupName ...
ActiveWindow
语法 表达式.ActiveWindow 表达式：文档类型应用对象 示例 async function example(){ await instance.ready();const app=instance.Application;获取演示文稿窗口对象 const activeWindow=await app.ActiveWindow;} View ActiveWindow.View...
Python SDK
如果使用Python 2.x：pip install aliyun-python-sdk-core 如果使用Python 3.x：pip install aliyun-python-sdk-core-v3 2 安装 Alibaba Cloud VS SDK for Python。pip install aliyun-python-sdk-vs SDK使用 以下这个代码示例展示了调用...
正则表达式
使用示例 示例1 正则表达式要匹配字符串 a+b，其中+是正则中的一个特殊字符，因此要用转义的方式表达。在正则表达式引擎中的表达方式是 a\\+b，由于还要解释一层转义，因此能够匹配该字符串的表达式是 a\\\+b。select 'a+b' rlike 'a\\\+b'...
- 产品推荐
- 这些文档可能帮助您