Pipes 是 hadoop 提供的 c++ 接口，但是在官网上找不到 pipes 的文档，只能从例子开始一点点摸索。实验环境是 debian 6 amd64，hadoop 1.0.3。hadoop 的安装目录是 $HOME/hadoop，安装和配置过程在上一篇安装笔记中有提到。

为了少敲些字符，给 hadoop 命令做了一个 alias：

alias hadoop='$HOME/hadoop/bin/hadoop'

单词统计程序

下面的程序是对 hadoop 1.0.3 自带的单词统计程序（src/examples/pipes/impl/wordcount-simple.cc）的一个修改版：

#include <string>
#include <vector>
using namespace std;

#include <hadoop/Pipes.hh>
#include <hadoop/StringUtils.hh>
#include <hadoop/TemplateFactory.hh>

class WordCountMapper 

…

阅读全文…