MapReduce引擎如何实现

67次阅读
没有评论

共计 1001 个字符,预计需要花费 3 分钟才能阅读完成。

自动写代码机器人,免费开通

今天就跟大家聊聊有关 MapReduce 引擎如何实现,可能很多人都不太了解,为了让大家更加了解,丸趣 TV 小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

MapReduce 引擎怎么实现

使用例子见下,只需要 import 一个名即可。

#!/usr/bin/env python

import mincemeat

data = [Humpty Dumpty sat on a wall ,

Humpty Dumpty had a great fall ,

All the King s horses and all the King s men ,

Couldn t put Humpty together again ,

]

def mapfn(k, v):

for w in v.split():

yield w, 1

def reducefn(k, vs):

MapReduce 引擎怎么实现

result = 0

for v in vs:

result += v

return result

s = mincemeat.Server()

# The data source can be any dictionary-like object

s.datasource = dict(enumerate(data))

s.mapfn = mapfn

s.reducefn = reducefn

results = s.run_server(password= changeme)

print results

然后将 mincemeat.py 和 example.py 放在同一个目录下,执行 example.py

python example.py

这时程序会挂起一个 daemon

然后另开一终端运行:

python mincemeat.py -p changeme localhost

就会看到刚才的 daemon 打印出了 MapReduce 结果并退出了。

{‘a’: 2,‘on’: 1,‘great’: 1,‘Humpty’: 3,‘again’: 1,‘wall’: 1,‘Dumpty’: 2,‘men’: 1,‘had’: 1,‘all’: 1,‘together’: 1,“King’s”: 2,‘horses’: 1,‘All’: 1,“Couldn’t”: 1,‘fall’: 1,‘and’: 1,‘the’: 2,‘put’: 1,’sat’: 1}

看完上述内容,你们对 MapReduce 引擎如何实现有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注丸趣 TV 行业资讯频道,感谢大家的支持。

向 AI 问一下细节

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-12-04发表,共计1001字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)