Notebook
如果是Scala代码，是串行执行的，因为默认所有Note共享一个SparkContext。相关配置：参数 默认取值 zeppelin.spark.concurrentSQL true zeppelin.spark.currentSQL.max 10 Q：如何使Note之间相互独立？设置 per note isolated，使每个Note...
中文分词（O2O）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：O2O 能力说明：该能力可以将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetWsCustomizedChO2...
中文分词（通用）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：通用领域 能力说明：该能力可以将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
中文分词（文娱）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：文娱领域 能力说明：该能力可以将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列 支持定制：支持自定义词表或正则表达式等定制方式 请求参数 名称 类型 是否必...
中文分词（基础版）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：通用领域 能力说明：该能力可以将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetWsChGeneral...
病历查重
点击这里确认开通状态：开通服务 开通服务后可购买资源包进行调用：资源包购买 支持语言：中文 支持行业：医学行业 请求参数 名称 位置 类型 是否必选 示例值 描述 Action Query String 是 GetCheckDuplicationChMedical 系统规定参数。...
Databricks Runtime
已安装的Java，Scala，Python和R库。Ubuntu及其随附的系统库。适用于启用GPU的集群的GPU库。与平台的其他组件集成的Databricks服务，例如笔记本，作业和集群管理器。Runtime 版本控制 Databricks Runtime 版本会定期发布：主要版本 以小数...
手术归一
点击这里确认开通状态：开通服务 开通服务后可购买资源包进行调用：资源包购买 支持语言：中文 支持行业：医学行业 请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetOperationChMedical 系统规定参数。取值：...
诊断归一
点击这里确认开通状态：开通服务 开通服务后可购买资源包进行调用：资源包购买 支持语言：中文 支持行业：医学行业 请求参数 名称 位置 类型 是否必选 示例值 描述 Action Query String 是 GetDiagnosisChMedical 系统规定参数。...
中文分词（电商评价）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：电商评价 能力说明：该能力可以将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列 支持定制：支持自定义词表或正则表达式等定制方式 请求参数 名称 类型 是否必...
中文分词（电商内容）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：电商内容 能力说明：该能力可以将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列 支持定制：支持自定义词表或正则表达式等定制方式 请求参数 名称 类型 是否必...
自定义标量函数（UDSF）
仅支持开源Scala V2.11版本，如果Python作业中依赖第三方JAR包，请确保使用Scala V2.11对应的JAR包依赖。UDSF开发 说明 Flink为您提供了Python自定义函数示例，便于您快速开发自定义函数。Flink Python自定义函数示例中包含了Python UDSF、...
文本摘要（电商）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：电商领域 能力说明：自动抽取输入文本中的关键信息并生成短文本摘要。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetSummaryChEcom 系统规定参数，取值：...
通过ACK Serverless创建Spark计算任务
kubectl logs spark-pi-driver|grep Pi 预期输出：20/04/30 07:27:51 INFO DAGScheduler:ResultStage 0(reduce at SparkPi.scala:38)finished in 11.031 s 20/04/30 07:27:51 INFO DAGScheduler:Job 0 finished:reduce at SparkPi.scala:38...
模型说明
中文Tiny-StructBERT StructBERT 是阿里达摩院自研的语言模型，Tiny模型是在大规模语料下蒸馏后的StructBERT 模型，最大程度上保留了StructBERT 的性能，且提升速度。该模型模型结构相对复杂，适合小样本数据集，可以收获更高的准确率。...
医疗文本相似度
点击这里确认开通状态：开通服务 开通服务后可购买资源包进行调用：资源包购买 支持语言：中文 支持行业：医学行业 请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetSimilarityChMedical 系统规定参数。取值：...
表实用程序命令
pathToTable)fullHistoryDF=deltaTable.history()#get the full history of the table lastOperationDF=deltaTable.history(1)#get the last operation Scala%spark import io.delta.tables._val deltaTable=DeltaTable.forPath(spark,...
词性标注（通用）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：通用领域 能力说明：该能力可以为自然语言文本中的每个词汇赋予一个词性。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPosChGeneral 系统规定参数，取值：...
词性标注（电商）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：电商领域 能力说明：该能力可以为自然语言文本中的每个词汇赋予一个词性。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPosChEcom 系统规定参数，取值：...
通过Flink导入数据
下载flink-1.16.3-bin-scala_2.12.tgz，进行解压，示例如下。wget https://dlcdn.apache.org/flink/flink-1.16.3/flink-1.16.3-bin-scala_2.12.tgz tar -zxvf flink-1.16.3-bin-scala_2.12.tgz进入FLINK_HOME/lib目录中下载 flink-sql-...
文本相似度（电商）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：电商领域 能力说明：提供不同文本之间相似度的计算，并输出一个介于0到1之间的分数，分数越大则文本之间的相似度越高。建议分数不要用于直接判断，可以作为特征，并按照范围...
中心词提取（英文）
点击这里确认开通状态：点击确认开通 支持语言：英文 支持领域：电商领域 能力说明：使用电商标题中心词以及类目进行训练，通过给每个词计算一个相关性分数来衡量每个词与句子的相关性程度，进而识别并提取出句子的中心词。适用于提取电商...
MongoDB客户端SSL连接示例
Scala SSL连接示例 相关链接：MongoDB Scala Driver。示例代码 Scala驱动程序使用Netty提供的SSL底层支持与MongoDB服务器进行SSL连接。其中，将MongoClientSettings的sslEnabled设置为True，启用SSL连接；将InvalidHostNameAllowed设置为...
自定义表值函数（UDTF）
仅支持开源Scala V2.11版本，如果Python作业中依赖第三方JAR包，请确保使用Scala V2.11对应的JAR包依赖。UDTF开发 说明 Flink为您提供了Python UDX示例，便于您快速开发UDX。Flink Python UDX示例中包含了Python UDF、Python UDAF和Python ...
智能文本分类（新闻）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：新闻领域 能力的具体说明：对用户输入的一段文本，映射到具体的类目上 系统内置默认的新闻资讯领域类目为：港澳台、房产、军事、社会、财经、文娱、汽车、国际、教育、健康、...
智能文本分类（电商）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：电商领域 能力的具体说明：对用户输入的一段文本，映射到具体的类目上 系统内置默认的电商领域类目为：穿搭/时尚、美容妆发、家居/生活、母婴、数码/科技、美食、运动/户外、...
文本纠错（中文）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：通用领域 能力说明：准确识别输入文本中出现的拼写错别字及其段落位置信息，并针对性给出正确的建议文本内容。请求参数 名称 位置 类型 是否必选 示例值 描述 Action Query ...
自定义聚合函数（UDAF）
仅支持开源Scala V2.11版本，如果Python作业中依赖第三方JAR包，请确保使用Scala V2.11对应的JAR包依赖。UDAF开发 说明 Flink为您提供了Python UDX示例，便于您快速开发UDX。Flink Python UDX示例中包含了Python UDF、Python UDAF和Python ...
CreateAsyncPredict
Action=CreateAsyncPredict&Content=自然语言处理&ModelId=1818&ModelVersion=1&<公共请求参数>请求示例补充说明 根据服务名称和服务版本创建异步调用。http(s):/[Endpoint]/?Action=CreateAsyncPredict&Content=自然语言处理&ServiceName=...
中文分词（电商标题）
基本词 字母词 熟语 成语 熟语 古语词 熟语 惯用语 专有名词 动物 专有名词 植物 专有名词 武器 专有名词 节假日 专有名词 菜肴 专有名词 乐器 专有名词 中药材 专有名词 语言 专有名词 药品 专有名词 体育 专有名词 天文 专有名词 气象 ...
模型说明
StructBERT小样本分类：基于StructBert-base，在xnli数据集（将英文数据集重新翻译得到中文数据集）上面进行了自然语言推理任务训练 适用场景：面向文本分类任务，尤其是多层级（最多3级）、标签数目大，训练样本少的低资源场景。...
管控台概览
集成全自研多语言query分析能力（分词、NER、纠错、改写、分类等），多模型结构的预训练向量表示能力（encoder-only、decoder-only），混合召回和多因子排序能力（文本匹配、深度语义匹配）等，相对比纯向量检索，提升为行业领先搜索效果。...
文本纠错（英文）
点击这里确认开通状态：点击确认开通 支持语言：英文 支持领域：通用领域 能力说明：准确识别输入文本中出现的拼写错别字及其段落位置信息，并针对性给出正确的建议文本内容。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
SQL搜索处理
724)\tat org.apache.flink.table.planner.calcite.FlinkPlannerImpl.org$apache$flink$table$planner$calcite$FlinkPlannerImpl$validate(FlinkPlannerImpl.scala:144)\t.7 more Caused by:org.apache.calcite.sql.validate....
SQL搜索处理
724)\tat org.apache.flink.table.planner.calcite.FlinkPlannerImpl.org$apache$flink$table$planner$calcite$FlinkPlannerImpl$validate(FlinkPlannerImpl.scala:144)\t.7 more Caused by:org.apache.calcite.sql.validate....
药品归一
点击这里确认开通状态：开通服务 开通服务后可购买资源包进行调用：资源包购买 支持语言：中文 支持行业：医学行业 请求参数 名称 位置 类型 是否必选 示例值 描述 Action Query String 是 GetMedicineChMedical 系统规定参数。取值：...
在文件存储 HDFS 版上使用Apache Spark
{SPARK_HOME}/bin/spark-shell-master yarn scala>val res=sc.textFile("dfs:/f-xxxxxxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/input").flatMap(_.split("")).map((_,1)).reduceByKey(_+_)scala>res.collect.foreach(println)scala>res....
直播ASR乱码识别
直播ASR乱码识别服务适用于直播场景，通过ASR语音转文字，识别由于多人同时说话导致的文字可读性不佳的问题。说明 本服务由NLP自学习平台提供，直接调用API...falase表示ASR结果可读性不好，不建议直接展示 preplexity 语言模型困惑度，供参考
使用Flink访问
在计算节点上安装Scala。Scala下载地址为 官方链接，其版本要与使用的Apache Spark版本相兼容。下载Apache Hadoop压缩包。Apache Hadoop下载地址为 官方链接。建议您选用的Apache Hadoop版本不低于2.7.3，本文中使用的Apache Hadoop版本为...
词向量（文娱）
点击这里确认开通状态：点击确认开通 支持语言：中文 支持领域：文娱领域 能力说明：词向量是一种简单有效的将最小语义单元 —— 词转化为数值表示的方法。通过词向量得到的数值表示的形式是高维稠密向量。这种数值表示的特点是语义相近的...
- 产品推荐
- 这些文档可能帮助您