Spark删除redis千万级别set聚集数据

开发者 · 2024-9-13 06:14:32

1.利用pipline的缘故原由

Redis 利用的是客户端-服务器（CS）模型和哀求/相应协议的 TCP 服务器。这意味着通常情况下一个哀求会遵照以下步调：
客户端向服务端发送一个查询哀求，并监听 Socket 返回，通常是以壅闭模式，等候服务端相应。
服务端处置处罚下令，并将结果返回给客户端。
管道（pipeline）可以一次性发送多条下令并在实行完后一次性将结果返回，pipeline 通过镌汰客户端与 redis 的通讯次数来实现低沉来回延时时间，而且 Pipeline 实现的原理是队列，而队列的原理是时先辈先出，如许就保证数据的次序性。
普通点：pipeline就是把一组下令举行打包，然后一次性通过网络发送到Redis。同时将实行的结果批量的返回回来
pipelined.sync()表现我一次性的异步发送到redis，不关注实行结果。
pipeline.syncAndReturnAll ();将返回实行过的下令结果返回到List列表中
2.方法

2.1写入redis的方法

2.1.1参数分析

sc：SparkContext Spark上下文
spark：SparkSession 利用Dataset和DataFrame API编程Spark的入口点

Spark删除redis千万级别set聚集数据

所属分类: 问答交流

新帖推荐: 30日

推荐作品