连接地址（主地址、集群地址和自定义地址）
其中，默认集群地址和自定义地址都是通过数据库代理来实现的，即这两类地址的请求是经过代理节点，而主地址的请求不经过代理节点。在连接 PolarDB 集群时，您可以填写 PolarDB 集群的上述三种地址，推荐使用默认集群地址。本文将分别介绍这...
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Teradata输入配置 对话框。序号 说明 ① 单击 组件库。② 单击 输入。③ 拖动 Teradata 组件至左侧的...
配置SAP Table输入组件
批量条数 批量读取数据的条数，可根据数据库性能以及数据量修改。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下的 图标，...
配置SAP Table输入组件
批量条数 批量读取数据的条数，可根据数据库性能以及数据量修改。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下的 图标，...
将RDS PostgreSQL作为RDS MySQL实时分析库
psql-h<数据库连接地址>-U<用户名>-p<端口号>-d db2 说明 由于在 创建迁移任务 步骤中创建了数据库db2来接收MySQL迁移的数据，因此，连接PostgreSQL数据库时，数据库名 直接配置成db2。执行 \dn 命令，查看是否将MySQL数据库db1映射为...
JDBC
在 基本信息 页面的 数据库连接信息 区域，即可查看 内网地址。如果您的客户端部署在与 AnalyticDB PostgreSQL版 实例在不同地域或网络类型不同的ECS或者阿里云以外的系统上，则需要申请外网地址后使用外网地址进行连接。申请外网地址的...
ORC文件
写入ORC数据到OSS 并读取数据%spark val inputPath="oss:/databricks-fjl-test/datas/orc_data"case class MyCaseClass(key:String,group:String,value:Int,someints:Seq[Int],somemap:Map[String,Int])val dataframe=sc.parallelize(Array...
透明数据加密TDE测试报告
mysql-h<数据库连接地址>-u<用户名>-P<端口号>-p<密码>说明 数据库连接地址和端口号获取方法，请参见 查看和管理实例连接地址和端口。退出数据库，使用sysbench工具加载测试数据。说明 本测试中，使用sysbench加载128个表，其中每个表包含...
Parquet（推荐）
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt...
备份对数据库的影响
对数据库的影响 从数据库实例中读取数据，对数据库性能有一定影响，但不会造成锁表的情况。从数据库磁盘中读取数据，对数据库IO性能有一定影响，但不会造成锁表的情况。注意事项 建议选择业务低峰期执行备份任务。数据库备份DBS 提供备份...
计算成本控制
避免资源重复读取 资源的读取尽量放置到Setup阶段读取，避免资源多次读取的性能损失，另外系统也有64次读取的限制，资源的读取请参见 使用资源示例。减少对象构造开销 对于Map、Reduce阶段每次都会用到的Java对象，避免在Map/Reduce函数里...
文本文件
demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"实例 case1:使用文本的方式读取数据 ...
配置Hologres输入组件
使用限制 不支持读取Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 Hologres输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 ...
加载矢量数据
单击菜单栏 Database>DB Manager.在弹出的数据库连接对话框中，选择需要导入的数据源并单击 Import Layer/File.在弹出的导入矢量数据对话框中，指定需要导入的矢量数据并设置导入选项，最后单击 OK 执行导入操作。
加载矢量数据
单击菜单栏 Database>DB Manager.在弹出的数据库连接对话框中，选择需要导入的数据源并单击 Import Layer/File.在弹出的导入矢量数据对话框中，指定需要导入的矢量数据并设置导入选项，最后单击 OK 执行导入操作。
配置Hologres输入组件
使用限制 不支持读取Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Hologres输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Hologres ...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
OSS
demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")读OSS数据代码实现WordCount 示例文本下载...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
CREATE DATABASE AS（CDAS）语句
这对于MySQL CDC数据源场景尤为适用，因为不仅可以减少数据库的连接数，还能避免重复拉取Binlog数据，以降低数据库的读取压力。使用限制 仅Flink计算引擎vvr-4.0.11-flink-1.13及以上版本支持CDAS语法。重要 CDAS语法不支持进行调试。仅...
JSON文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"JSON...
CSV文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"csv...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
管理数据库资产
支持加密审计的数据库需满足以下条件：数据库类型为自建数据库MySQL 5.6 加密算法为AES256-SHA和AES128-SHA（单向认证）如果您的MySQL数据库满足上述条件并配置了SSL证书，您需要打开 使用SSL 开关，并在 SSL密钥 处上传数据库使用的证书，...
数据库代理常见问题
每个RDS PostgreSQL实例在开通数据库代理后，都可以申请1~7个代理连接地址（原代理终端），每个代理连接地址都可以申请1个内网地址和1个外网地址，更多信息，请参见 新建数据库代理连接地址。数据库代理是否会占用主实例的QPS或者TPS?不会 ...
通过Mongo Shell连接MongoDB单节点实例
Mongo Shell是MongoDB自带的数据库管理工具，您可以将Mongo Shell工具下载并安装至客户端（本地服务器或ECS服务器），用于连接云数据库MongoDB单节点实例。本文介绍通过Mongo Shell连接云数据库MongoDB单节点实例的方法。前提条件 已创建云...
通过Mongo Shell连接MongoDB副本集实例
Mongo Shell是MongoDB自带的数据库管理工具，您可以下载Mongo Shell工具并安装至客户端（本地服务器或ECS服务器），用于连接云数据库MongoDB副本集实例。前提条件 已创建云数据库MongoDB副本集实例，创建方法请参见 创建副本集实例。背景...
设置数据库代理连接地址
说明 无法释放开通代理时默认创建的代理连接地址 相关文档 配置数据库代理连接地址访问策略 通过代理连接地址连接数据库 相关API API 描述 DescribeDBProxy 查询数据库代理详情。DescribeDBProxyEndpoint 查询数据库代理的连接地址信息。...
MongoDB逻辑备份
有公网IP:Port的自建数据库 ECS上的自建数据库 云数据库MongoDB 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库（通过数据库网关DG接入）说明 当您选择云数据库MongoDB时，系统会自动从备库读取数据进行全量备份。...
设置数据库代理连接地址
开通RDS MySQL数据库代理后，客户端需要通过数据库代理连接地址访问数据库。本文介绍RDS MySQL数据库代理地址类型以及如何设置整个数据库代理连接地址、内网连接地址和外网连接地址。前提条件 已开通数据库代理。代理地址类型说明 代理地址...
使用MongoDB工具将自建数据库迁移至单节点实例
mongodump-host<mongodb_host>-port<port>-u<username>-authenticationDatabase<database>说明<mongodb_host>：自建MongoDB数据库的服务器地址，本机可使用127.0.0.1。数据库服务的端口号，默认为27017。自建MongoDB...
使用MongoDB工具将自建数据库迁移至副本集实例
mongodump-host<mongodb_host>-port<port>-u<username>-authenticationDatabase<database>说明<mongodb_host>：自建MongoDB数据库的服务器地址，本机可使用127.0.0.1。数据库服务的端口号，默认为27017。自建MongoDB...
使用MongoDB工具将自建数据库迁移至分片集群实例
mongodump-host<mongodb_host>-port<port>-u<username>-authenticationDatabase<database>说明<mongodb_host>：自建MongoDB数据库的服务器地址，本机可使用127.0.0.1。数据库服务的端口号，默认为27017。自建MongoDB...
如何排查无法连接MongoDB实例的问题？
概览 您可以从以下几个方面排查无法连接云数据库MongoDB实例的问题：检查白名单设置 检查网络环境 检查实例连接地址 检查域名解析情况 检查实例状态 检查第三方工具 检查白名单设置 您需要将正确的客户端IP地址添加到云数据库MongoDB实例的...
开通数据库代理
说明 该内网地址和代理连接地址ID绑定，您可以通过 配置数据库代理连接地址访问策略 定制数据库代理功能。您可以单击连接地址右侧的 按钮，修改连接地址前缀和端口号。更多信息，请参见 设置数据库代理连接地址。外网地址/端口 代理外网...
Quick BI连接
说明 通过公网连接Quick BI和数据库时，需要将Quick BI的IP地址添加至数据库白名单中，确保网络连通。您可以在Quick BI控制台的数据源配置界面，单击 复制白名单，获取Quick BI的IP地址。配置项 说明 显示名称 数据源名称。数据库地址 ...
DataV连接
在 基本信息 页面的 数据库连接信息 区域，即可查看连接地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 当前所选数据库的名称。数据库信息填写完成后，系统会自动进行测试连接，验证数据库是否...
新建 TiDB 数据源
前提条件 已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户必须具备相关的数据操作权限。详情请参见 创建 TiDB 数据库用户。如果您需要订阅 TiDB 增量日志，请...
使用说明
示例：在RW1上创建一个数据库 db1 CREATE DATABASE db1 POLARDB_WRITE_NODE 1;如果需要在RW2上创建数据库 db1，把上述示例中的1换成2即可。删除在指定RW节点上创建的数据库 删除在指定RW节点上创建的数据库。语法结构如下：DROP DATABASE ...
设置数据库代理连接地址
MyBase MySQL数据库代理目前提供一个默认代理地址，代理终端功能绑定该地址。您可以额外新增代理地址、修改代理地址或删除代理地址。前提条件 已开启数据库代理。具体操作，请参见 开启独享代理。代理地址类型 代理地址共分三种类型：内网...
- 产品推荐
- 这些文档可能帮助您