什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
Spark
spark.jars.packages spark.jars.packages 可以用Package的形式来指定依赖包，Spark会动态下载这些Package到ClassPath里，多个Package以逗号（,）分隔。如下图示例，段落①指定delta包，段落②使用这个delta包。spark.files spark.files ...
RTMP视频流播放器
重要 RTMP视频流播放器组件暂时不支持在谷歌浏览器中播放视频，RTMP是依赖flash的，谷歌浏览器不支持flash，您可以转换成hls格式，用阿里云流播放器组件播放视频，详情请参见 阿里云流播放器。图表样式 RTMP视频流播放器是媒体组件的一种，...
配置数据迁移任务
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...
RDS MySQL实例间的迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现 RDS MySQL 实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移...
从自建MySQL迁移至MyBase MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建MySQL迁移至 MyBase MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库...
自建MySQL迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他云上的MySQL数据库迁移至 RDS MySQL 实例。DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建...
Java库管理
在NoteBook调用jar，执行wordAndcount()方式2：spark.jars.packages 说明 spark.jars.packages 可以用package的形式来指定依赖包，spark会动态下载这些package，然后放到classpath里，多个package以逗号分隔，如下图示例 在NoteBook引入...
从自建MySQL迁移至RDS MySQL实例
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他云上的MySQL数据库迁移至 RDS MySQL 实例。DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建...
PolarDB MySQL版迁移至RDS MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至MySQL（包括自建MySQL和 RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版 除了支持迁移至 RDS MySQL 以外，还支持迁至以下类型的自建数据库。说明...
PolarDB MySQL版间迁移
通过数据传输服务DTS（Data Transmission Service），可以帮助您实现 PolarDB MySQL版 集群间的数据迁移。说明 目前 PolarDB MySQL版 集群暂不支持升级MySQL版本至8.0版本，您可以创建一个新的 PolarDB MySQL版 集群（8.0版本），使用本...
RDS MariaDB迁移至RDS PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将RDS MariaDB迁移至RDS PostgreSQL。前提条件 已创建存储空间大于源RDS MariaDB实例已占用存储空间的目标RDS PostgreSQL实例。具体操作，请参见 快速创建RDS PostgreSQL实例。已在目标...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
RDS MySQL实例间的同步
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例间的数据同步。支持的源和目标数据库 MySQL间同步支持以下源或目标数据库。本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例类似。源数据...
功能特性
时序协议支持 搜索引擎 单点查询 用主键或唯一索引来进行查询，可以用来快速查询或更新某个数据项。单点查询 多维检索 面向复杂的多维查询场景，Lindorm内部会自动为Tag建立索引，支持根据Tag来进行多维检索查询。多维检索 自定义词典 搜索...
Flink
flink.execution.jars 如果您的Zeppelin机器不能访问外网或者您的依赖没有发布在Maven Repository里，则您可以将依赖的JAR包放到Zeppelin机器上，然后通过 flink.execution.jars 来指定这些JAR包，多个JAR包时用逗号（,）分隔。例如，添加...
场景2：依赖上一周期的结果时，如何配置调度依赖
依赖上一周期和依赖本周期的区别：在运维中心中查看节点依赖关系时，所有跨周期依赖的节点都会以虚线的形式展示。下线节点时需要删除节点依赖关系，需要删除的依赖关系包括跨周期依赖（①）和同周期依赖（②）。您可以根据业务需求选择需要...
深度解析Lindorm搜索索引（SearchIndex）特性
索引通常用来加速查询，可以通过增加一种新的索引类型来解决海量数据的复杂查询问题，Lindorm作为一个多模数据库，原生支持搜索引擎，天然具备全文索引能力。因此，通过融合搜索引擎，Lindorm宽表增加了SearchIndex，使得业务在不用感知...
缓冲区管理
术语 名词 说明 Buffer Pool 缓冲池，一种用来存储最常访问的数据的内存结构，通常以页为单位来缓存数据。PolarDB 中每个节点都有自己的Buffer Pool。LSN Log Sequence Number，日志序列号，是WAL日志的唯一标识。LSN在全局是递增的。Apply...
数据开发
本文从需求分析、规划业务流程、规划表管理、同步数据以及加工数据几方面，为您介绍数据开发。需求分析 将MySQL的数据采集到MaxCompute 贴源层表中，进行清洗和加工，产出最终的概览应用表。规划业务流程 业务流程是DataWorks针对业务实体...
CreateTask-创建任务流任务
SQL，仅支持 SELECT 语句，且默认返回最大行数为 30*",/sql 语句"dbType":"lindorm_cql"/数据库类型 } 依赖检查 DagId NodeName NodeType:2 NodeParam GraphParam NodeContent:样例如下 {"dependentDAGId":132,/依赖项：任务流...
CREATE EXTENSION
CREATE EXTENSION 把一个新的扩展载入到当前数据库中。简介 CREATE EXTENSION 把一个新的扩展载入到当前数据库中。不能有同名扩展已经被载入。载入一个扩展本质上是运行该扩展的脚本文件。该脚本通常将创建新的 SQL 对象，例如函数、数据...
修改表
因此，本数据库提供了一族命令来对已有的表进行修改。注意这和修改表中所包含的数据是不同的，这里要做的是对表的定义或者说结构进行修改。利用这些命令，我们可以进行以下操作：增加列 移除列 增加约束 移除约束 修改默认值 修改列数据...
示例项目使用说明
依赖JAR包（lib目录下）：tutorial.jar：sample.pig作业需要的依赖JAR包。准备工作 本文提供了一些测试数据，您将其上传到OSS中即可使用。您还可以自行准备以下可选测试数据，例如，MaxCompute、MNS、ONS和LogService等。创建LogService，...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
相比OpenTSDB优势
OpenTSDB是可扩展的分布式时序数据库，底层依赖HBase。作为基于通用存储开发的时序数据库典型代表，起步比较早，在时序市场的认可度相对较高。阿里云智能TSDB高度兼容OpenTSDB协议，采用自研的索引，数据模型，流式聚合等技术手段提供更...
调度DLA Spark任务
操作步骤 任务调度中一个重要的功能是任务之间的依赖，为演示这个功能，本文会在DMS中创建一个DLA Serverless Spark任务和两个 DLA Spark SQL任务，任务之间的依赖关系如下图所示，任务 DLA Spark SQL-1和 DLA Spark SQL-2 依赖上游任务...
强弱依赖治理最佳实践
本文以对一个部署在Kubernetes上的微服务应用进行强弱依赖治理为例，介绍通过场景化演练来发现依赖问题、暴露风险的整个过程。背景信息 关于强弱依赖治理的更多信息，请参见 强弱依赖治理概述 和 应用强弱依赖治理。示例说明 本文示例的...
调整实例WRITESET相关参数
您可以通过开启WRITESET模式，设置 binlog_transaction_dependency_tracking 和 transaction_write_set_extraction 参数来控制事务的冲突检测机制，以便提高备库回放并行度，降低主从延迟。WRITESET简介 MySQL默认的基于主库组提交来判断...
事务隔离
当依赖可序列化事务来阻止异常时，重要的一点是任何从一个持久化用户表读出数据都不被认为是有效的，直到读它的事务已经成功提交为止。即便是对只读事务也是如此，除了在一个 可推迟的 只读事务中读取的数据是读出以后立刻有效的，因为这样...
CreateFile
调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
图扑案例
对于需要实时采集海量数据的生产线、风电厂和智能交通态势感知数据的场景，为了实现实时数据采集、存储、索引和聚合，原存储方案中采用了ElasticSearch、Prometheus、Hbase分别存储从现场传感器、第三方系统和用户终端设备采集的时序指标、...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
公告
新增支持OpenGauss数据源、SAP Table数据源、StarRocks数据源、Hudi数据源、Doris数据源、Greenplum数据源。资产质量新增跨源两表字段统计值一致性的质量规则模板，用于跨数据源的数据对比；有效性/字段格式校验的规则模板增加like表达式；...
机器学习开发示例
本文介绍如何使用阿里云 Databricks 数据洞察的Notebook进行机器学习开发。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 控制台创建存储...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
- 产品推荐
- 这些文档可能帮助您