数据处理流水线:Go WaitGroup的高并发实践

76次阅读
没有评论

共计 895 个字符,预计需要花费 3 分钟才能阅读完成。

在 Go 语言中,可以使用 WaitGroup 来实现高并发的数据处理流水线。
WaitGroup 是一个计数信号量,用于等待一组并发操作完成。通过 Add 方法可以增加计数器的值,Done 方法可以减少计数器的值,Wait 方法可以阻塞直到计数器变为 0。
下面是一个使用 WaitGroup 的高并发数据处理流水线的示例:

package main
import (
"fmt"
"sync"
)
func main() {
var wg sync.WaitGroup
numWorkers := 10
dataChan := make(chan int, 100)
// 第一阶段,生成数据
wg.Add(1)
go func() {defer wg.Done()
for i := 0; i < 100; i++ {dataChan <- i}
close(dataChan)
}()
// 第二阶段,处理数据
for i := 0; i < numWorkers; i++ {wg.Add(1)
go func() {defer wg.Done()
for data := range dataChan {result := processData(data)
fmt.Println(result)
}
}()}
wg.Wait()}
func processData(data int) int {
// 此处模拟数据处理过程
return data * 2
}

在这个示例中,首先创建了一个 WaitGroup 对象 wg 和一个缓冲通道 dataChan,用于数据在各个阶段之间的传递。
然后,在第一阶段中,启动一个 goroutine 来生成数据,并向 dataChan 通道中发送数据。发送完数据后,通过调用 close(dataChan) 来关闭通道。
在第二阶段中,通过循环启动多个 goroutine 来处理数据。每个 goroutine 从 dataChan 中接收数据,然后调用 processData 函数来处理数据,并打印处理结果。
最后,通过调用 wg.Wait() 来等待所有 goroutine 完成。
这样,就可以实现一个高并发的数据处理流水线。在数据生成阶段和数据处理阶段之间使用通道进行数据传递,通过 WaitGroup 来等待所有 goroutine 完成。

丸趣 TV 网 – 提供最优质的资源集合!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-12-13发表,共计895字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)