pthread 学习笔记 (4)

ou Leave a comment

自旋锁

除了前面提到过的互斥锁和读写锁外，还有另外一种锁：自旋锁（spinlock）。自旋锁的原理比较简单，就是当某个资源不可用时不断查询，直到资源可用：

void tese_and_set(bool* condition)
{
    bool tmp = *condition;
    *condition = true;
    return tmp;
}

void func()
{
    while (test_and_set(&condition));

    /* visit */

    condition = false;
}

其中的操作 test_and_set() 可以看成一个原子操作，通常由硬件来实现。如果 condition 为 false，while 循环会不断地查询 condition 的状态，直到其可用为止。因为在条件不满足时程序也一直在忙，这样会消耗 cpu 资源，所以自旋锁适合用在执行时间不长的临界区中，例如修改一个数值等。

由于自旋锁比较简单，pthread …

阅读全文…

hadoop笔记 (4)：streaming

ou Leave a comment

hadoop 提供了 3 种方式来实现自己的功能，一种是 java 接口，另一种是 pipes，还有一种是 streaming。streaming 允许用任何语言来开发 mapper 和 reducer，它们和 hadoop 之间的交互通过标准输入/输出来进行。这种方式的好处是调试很方便。

先来看一个使用 bash 编写的 wordcount 的例子：

#!/bin/bash

while read line; do
    arr=($line)
    let i=0
    while ! [ -z ${arr[$i]} ]; do
        echo -e "${arr[$i]}\t1"
        let i=$i+1
    done
…

阅读全文…