什么是Databricks数据洞察
Spark Streaming 实时数据处理和分析，可以用写批处理作业的方式写流式作业。支持Java、Scala和Python语言。MLlib 可扩展的机器学习库，包含了许多常用的算法和工具包。GraphX Spark用于图和图并行计算的API。Spark Core API 支持R、SQL、...
资源
使用file-like的对象创建文件资源，注意压缩包等文件需要用二进制模式读取 resource=o.create_resource('test_file_resource','file',file_obj=open('/to/path/file','rb'))#使用字符串创建文件资源 resource=o.create_resource('test_py_...
Python SDK示例：资源
使用file-like的对象创建文件资源，注意压缩包等文件需要用二进制模式读取 resource=o.create_resource('test_file_resource','file',file_obj=open('/to/path/file','rb'))#使用字符串创建文件资源 resource=o.create_resource('test_py_...
现代IM系统中的消息系统—架构
采用混合模式，会根据数据的不同类型和不同的读写负载，来决定用写扩散还是读扩散。典型架构设计 上图是一个典型的消息系统架构，架构中包含几个重要组件。端：作为消息的发送和接收端，通过连接消息服务器来发送和接收消息。消息服务器：...
DDoS原生防护和Web应用防火墙组合使用方案
本文介绍了为网站类业务同时部署DDoS原生防护和Web应用防火墙的配置方法。该方案适用于为网站业务同时防御四层DDoS攻击和七层Web攻击、CC攻击的场景。前提条件 已创建ECS实例并部署了业务相关的应用，ECS实例拥有公网IP地址且网站有域名。...
Flink
示例2：使用Scala写的Streaming WordCount。PyFlink(%flink.pyflink)PyFlink是Flink on Zeppelin上Python语言的入口，Flink Interpreter内部会创建Python Shell。Python Shell内部会创建Flink的各种Environment，但是PyFlink里的各种...
多可用区部署
云原生多模数据库 Lindorm 支持创建多可用区的实例。该方案将一个Lindorm实例部署在多个可用区，多可用区实例具备更高的容灾...使用bulkload方式导入Lindorm多可用区版本，需要在两个可用区都导入一份数据，相关使用咨询方法请参见 技术支持。
写入数据
TSDB SDK 使用 Point 类，表示一个时间点。一个 Point 对象表示一个时间序列（时间线）某个时刻上的数据。构造时间点 Point（时间点）有多种构造方法，形式比较多样化。本节提供三种构造时间点的方法示例。注意 Point 的构建至少需要一个 ...
资源包介绍
类型 适用的计费模式 描述 按量写CU套餐 按量模式 有效期内每个月能使用的写CU总数，用于抵扣按量写吞吐量。例如购买了一年的10亿规格按量写CU套餐，表示每个月都有10亿的按量写CU会通过资源包进行抵扣，为期一年。按量读CU套餐 按量模式 ...
挂载OSS
mybucket/mydir/"} 3.1.3 使用命令行 bcs sub"python main.py"-r oss:/mybucket/mydir/:/home/admin/mydir/如果有多个映射，请用逗号隔开 注意 配置 InputMapping，是只读挂载，意思是只能读，不能写，不能删除。配置 OutputMapping，凡是...
二进制数据类型
反斜线本身（十进制字节值 92）也可以用双写的反斜线表示。bytea文字转义字节 十进制字节值 描述 转义输入表示 例子 十六进制表示 0 0字节 '\000' '\000':bytea \x00 39 单引号 '''' 或 '\047' '''':bytea \x27 92 反斜线 '\\' 或 '\134' '...
OSS挂载
mybucket/mydir/"} C)使用命令行 bcs sub"python main.py"-r oss:/mybucket/mydir/:/home/admin/mydir/如果有多个映射，请用逗号隔开 注意 配置 InputMapping，是只读挂载，意思是只能读，不能写，不能删除。配置 OutputMapping，写到/...
配置读写分离
本文将介绍实例的连接地址及设置项，通过对设置项的配置，可使用读写分离功能。背景信息 当您只购买了主实例时，只会有一个连接地址，也叫集群地址（Cluster Endpoint），主要面向在线通用业务场景。在主实例页面上，如果添加了只读实例，...
PyODPS常见问题
本文为您介绍使用PyODPS时的常见问题。问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装...
Python SDK常见问题
使用PyODPS写数据时，提示Perhaps the datastream from server is crushed，如何解决？使用PyODPS读数据时，报错Project is protected，如何解决？PyODPS脚本任务不定时出现连接失败，报错ConnectionError:timed out try catch exception，...
RAM和STS介绍
如果某用户需要使用多种权限，如读/写权限，但是实际上每次操作只需要其中的一部分权限，那么就可以创建两个角色。这两个角色分别具有读或写权限。然后，创建一个可以扮演这两个角色的RAM用户。当用户需要读权限的时候，就可以扮演其中拥有...
RAM和STS介绍
如果某用户需要使用多种权限，例如读/写权限，但是实际上每次操作只需要其中的一部分权限，那么就可以创建两个角色。这两个角色分别具有读或写权限。然后，创建一个可以扮演这两个角色的用户子账号。当用户需要读权限的时候，就可以扮演...
通过读写分离提升数据吞吐性能
背景信息 应用层中直接使用代码实现，在进入Service之前，使用AOP来做出判断，是使用写库还是读库，判断依据可以根据方法名判断，例如以query、find、get等开头的就走读库，其他的走写库。优点：多数据源切换方便，由程序自动完成。不需要...
通过命令行工具快速使用云存储网关软件版
本文介绍如何通过命令行工具快速使用云存储网关软件版。前提条件 已注册阿里云账号，并完成实名认证。具体操作，请参见 注册阿里云账号。说明 建议您使用RAM用户登录云存储网关控制台进行相关操作。更多信息，请参见 账号访问控制。已开通...
Linux系统挂载NFS协议文件系统
创建NAS NFS协议文件系统后，您需要使用云服务器来挂载该文件系统，以实现多个云服务器共享访问文件系统的目的。本文介绍如何通过阿里云Linux ECS实例挂载NAS NFS协议文件系统。前提条件 在创建文件系统的地域，已有可用的云服务器ECS...
sample-txc-edas 样例
样例模块说明 本样例主要包含以下几个子工程：txc-client-web：EDAS+GTS 的 MVC 客户端 Spring Mvc，用 Web 方式展现业务逻辑。txc-client-console：EDAS+GTS 的 Console 客户端，用 Console 的方式展现业务逻辑。txc-client-mq：EDAS+GTS+...
创建方案前准备（代码库管理/本地开发）
环境*代码仓库codeup*jdk使用 1.8*maven 3.3+*[maven settings.xml](#本地使用的settings.xml)#目录结构*src*main*java 包含多个demo，可以直接修改使用*ABFS使用demo*BE使用demo*HTTP使用demo*Predict使用demo*Redis使用demo*hello最简单...
开发TPP方案代码
环境*代码仓库codeup*jdk使用 1.8*maven 3.3+*[maven settings.xml](#本地使用的settings.xml)#目录结构*src*main*java 包含多个demo，可以直接修改使用*ABFS使用demo*BE使用demo*HTTP使用demo*Predict使用demo*Redis使用demo*hello最简单...
基于OSS-HDFS构建数据湖
说明 原生OSS存储推荐使用OSS的内网Endpoint，以获得更好的访问性能，如您需要同Hologres、DLF跨Region交互，则需使用公网Endpoint，详情请参见 OSS访问域名使用规则。cn-hangzhou.oss-dls.aliyuncs.com 创建外部表并读写存储于OSS-HDFS上...
现代IM系统中的消息系统—实现
这种方式在群少和用户少时不会有问题，但随着用户体量和活跃度的增加，同步写的方式会面临性能问题，因此建议用户对群写扩散使用异步任务实现。用户可以基于表格存储实现一个任务队列，将写扩散任务写入队列中后直接返回，然后由其他进程...
常见问题
本文介绍在使用ossfs时遇到的一些问题案例及解决方案。通用说明 ossfs报错信息中均包含message。排查问题时，需要收集这些message，并根据message判断问题。例如socket建连失败、HTTP响应的状态码4xx、5xx等，使用前先开启debug-log。403...
性能说明FAQ
通用型NAS 单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值）越高。更多信息，请参见 通用型NAS。极速型NAS 单个文件系统的读写性能随配置容量的增长呈阶梯式增长...
通过Zipkin上报Java应用数据
通过Spring 2.5 MVC或Spring 3.0 MVC插件埋点 您可以选择通过Spring 2.5 MVC或Spring 3.0 MVC插件进行埋点。说明 如需获取Demo，请单击下载 源码，进入 springMvcDemo\webmvc3|webmvc25 目录，并根据Readme运行程序。在 applicationContext...
通过Zipkin上报Java应用数据
通过Spring 2.5 MVC或Spring 3.0 MVC插件埋点 您可以选择通过Spring 2.5 MVC或Spring 3.0 MVC插件进行埋点。说明 如需获取Demo，请单击下载 源码，进入 springMvcDemo\webmvc3|webmvc25 目录，并根据Readme运行程序。在 applicationContext...
常见问题
用Spark Streaming写数据到Delta，本质上是执行一系列的mini batch，一个batch会产生一个或者多个文件。由于batch size通常较小，因此Spark Streaming连续运行会产生相当数量的小文件。解决方法有两种：如果实时性要求不高，建议增大mini ...
什么是数据库代理
如果您的主实例因连接数过多导致负载较高，或因业务需求要进行读写分离，可以使用RDS PostgreSQL数据库代理功能，该功能支持读写分离、事务拆分等能力，能够有效降低主实例访问压力，具有高可用、高性能、可运维、简单易用等特点。...
什么是数据库代理
如果您的主实例负载较高，或在发生主动切换类的运维动作时有防闪断需求，可以使用RDS MySQL数据库代理功能，通过读写分离对业务流量进行负载均衡，降低主实例CPU负载压力，还可以通过连接保持（防止闪断）和SSL加密功能提高实例的可用性和...
PolarDB代理配置与流量异常
场景二：使用的是读写分离地址，但业务上有大量的写请求，在代理层会把所有的写请求路由到主节点。此类场景下可以尝试将 主库是否接受读 设置为 是，以及开启 事务拆分 功能，尽可能让只读节点承担一些读流量。只读节点负载高，主节点负载...
存储CSI概述
如需写入文件，建议您使用SDK实现写操作或者使用NAS存储卷服务。关于使用SDK实现写操作的具体操作，请参见 OSS存储读写分离最佳实践。ossfs可以通过调整配置参数的方式，优化其在缓存、权限等方面的表现，请参见 常见问题、ossfs异常问题...
VALUES
VALUES 也可以被用在可以写子-SELECT 的地方，例如在一个 FROM 子句中：SELECT f.*FROM films f,(VALUES('MGM','Horror'),('UA','Sci-Fi'))AS t(studio,kind)WHERE f.studio=t.studio AND f.kind=t.kind;UPDATE employees SET salary=...
使用paiio读写MaxCompute表数据
在多机场景，如果多个Worker（包括PS）同时使用同一个 slice_id 写表，则会导致写入失败。返回值 返回Writer对象。写入记录 接口定义 writer.write(values,indices)参数 参数 是否必选 类型 默认值 描述 values 是 STRING 无 待写入的数据...
词法结构
例如，标识符"data"可以写成：U&"d\0061t\+000061"下面的例子用斯拉夫语字母写出了俄语单词“slon”（大象）：U&"\0441\043B\043E\043D"如果希望使用其他转义字符来代替反斜线，可以在字符串后使用 UESCAPE 子句，例如：U&"d!0061t!000061...
REINDEX
REINDEX 会用锁排斥写，但不会排斥在索引的父表上的读。它也会在被处理的索引上取得一个排他锁，该锁将会阻塞对该索引的使用尝试。相反，DROP INDEX 会暂时在附表上取得一个排他锁，阻塞写和读。后续的 CREATE INDEX 会排斥写但不排斥读，...
系统管理函数
如果自从上次预写式日志切换以来没有提前写日志活动，pg_switch_wal 将不做任何操作，并返回当前正在使用的提前写日志文件的起始位置。默认情况下该函数仅限超级用户使用，但可以授权其他用户执行该函数。pg_walfile_name(lsn pg_lsn)→...
如何写好提交，做一个有品位的开发者
示例：为 git clean-interactive 特性写的测试用例 为 git pack-redundant 新算法写的测试用例 我曾经针对Git的单元测试框架写过博客，参见：复用 git.git 测试框架 2.4 sharness Git 的测试框架代码经过重构，已经成为一个单独的项目：...
- 产品推荐
- 这些文档可能帮助您