关于 pthread cond 的注意事项

ou Leave a comment

最近在使用 pthread condition variable 的时候出现了问题，经过排查发现是 pthread_cond_signal() 放在了 pthread_mutex_unlock() 之后调用导致的。本来不是个什么复杂的问题，但是由于自己一直以来的忽略，觉得有必要记录一下。

先来看下很多文章中都用到的关于 pthread_cond_ 系列函数的例子：

/* ----- producer ----- */

pthread_mutex_lock(&mutex);               /* 1 */
queue.push(item);                         /* 2 */
pthread_cond_signal(&cond);               /* 3 */
pthread_mutex_unlock(&mutex);             /* 4 */

/* ----- consumer ----- */

pthread_mutex_lock(&mutex);               /*
…

阅读全文…

c++11 之变长参数模板

ou Leave a comment

C++ 中可以对函数重载，即同样的函数名字（其实在编译期还是会被生成不同的名字）可以有不同的参数列表，例如 STL 中 string 的构造函数：

string();
string (const string& str);
string (const string& str, size_t pos, size_t len = npos);
string (const char* s);
string (const char* s, size_t n);
...

看上去和 C 中的变长参数有点类似：

void func(int nil, ...);

有点不同的是，C …

阅读全文…

PostgreSQL 笔记

ou Leave a comment

PostgreSQL 是一个采用 BSD 许可证分发的跨平台的对象关系模型数据库，最早可以追溯到 1982 年在伯克利开始的 Ingres 计划。PostgreSQL 出现的时间比 MySQL 要早，之前也听过 PostgreSQL 的大名，不过看到相关的讨论比较少。由于这里的实验需求远未达到两者的极限，所以也没什么评测，网上的评价就不搬运过来了，有兴趣的可以搜一下。这里的实验环境是 Debian 6，PostgreSQL 版本是 9.1。

初始化

不同于 MySQL 在安装的时候会被要求输入 root 的密码，安装 PostgreSQL 的时候什么提示都没有，装完之后也不知道该干嘛……在网上搜了一把，照着参考资料 [1] 操作了一遍，基本算是入门了。

由于没有 root 用户，默认有 root 权限的用户名是 postgres，也有同名的数据库。网上有很多介绍初始化的方法都是新建一个 postgres 的用户，然后切换到该用户登录后再修改密码。但是觉得为了初始化新建一个用户有点小题大作了，于是上网搜了下，发现可以通过修改配置文件达到目的。

首先修改 /etc/postgresql/9.1/main/pg_hba.conf，把其中的

local all postgres
…

阅读全文…

使用 C 编写 Lua 模块

ou Leave a comment

Lua 作为一种小巧的语言，一般都是嵌入到 C/C++ 中作为扩展语言，但是也可以作为独立的脚本语言使用，并且可以使用 C/C++ 编写扩展模块。在参考资料 [1] 中有怎样用 C/C++ 编写模块的介绍，但是比较零散，也不是很详细，所以在这里整理一下。

这里使用的 Lua 版本是 5.2.3，系统是 Debian 7。

Hello, world!

不废话，还是先看一下经典的 "Hello, world!" 例子。

#include <lua.h>
#include <lauxlib.h>
#include <lualib.h>

static int l_hello(lua_State* l)
{
    printf("Hello, world!\n");
    return 0;
}

static const
…

阅读全文…

Thrift 学习笔记 (2)

ou 1 Comment

Google 开发的 Protobuf 会经常被拿来和 Thrift 比较，不过 Protobuf 主要提供序列化/反序列化的功能，而 Thrift 还提供了几个 server 模型，加上可以自动生成代码，大大简化了 RPC 的开发。

TSimpleServer

以 上一篇笔记 的 echo server 为例，一个使用 TSimpleServer 的服务端如下：

// This autogenerated skeleton file illustrates how to build a server.
// You should copy it to
…

阅读全文…

Thrift 学习笔记 (1)

ou 2 Comments

Thrift 是 Facebook 开发的一个二进制通信协议，现在托管在 Apache 基金会。它使用一种自定义的接口描述语言描述使用的数据结构和接口，通过编译可以生成各种语言的接口，如 c++，python，php 等。由于支持生成多种语言，Thrift 可以作为多种语言之间的通信接口，更详细的介绍见参考资料 [1]。

这里使用的 Thrift版本是 0.8.0。

一个简单的echo server

首先编写对应的数据结构和接口描述文件：

namespace cpp Test

service EchoServer {
    string echo(1: string msg);
}

使用下面的命令生成对应的 c++ 接口文件：

thrift --gen cpp echoapi.thrift

默认会生成一个“gen-cpp”的文件夹，里面包含下列文件：

echoapi_constants.cpp echoapi_constants.h echoapi_types.cpp echoapi_types.h EchoServer.cpp
…

阅读全文…

C++11 中的 lambda 函数

ou Leave a comment

c++ 标准库里有一个函数 sort()，可以对容器的元素进行排序。它的函数原型是（参考资料 [1]）：

template <class RandomAccessIterator>
void sort (RandomAccessIterator first, RandomAccessIterator last);

template <class RandomAccessIterator, class Compare>
void sort (RandomAccessIterator first, RandomAccessIterator last, Compare comp);

其中第三个参数是一个比较函数，它接收两个容器中的两个元素，返回比较结果。如果没有第三个参数，默认按元素的升序排列。

例如，我们要将一个整型数组降序排列：

#include <iostream>
#include <vector>
#include <algorithm>
using namespace std;

static bool compare_int(int
…

阅读全文…

pthread 学习笔记 (4)

ou Leave a comment

自旋锁

除了前面提到过的互斥锁和读写锁外，还有另外一种锁：自旋锁（spinlock）。自旋锁的原理比较简单，就是当某个资源不可用时不断查询，直到资源可用：

void tese_and_set(bool* condition)
{
    bool tmp = *condition;
    *condition = true;
    return tmp;
}

void func()
{
    while (test_and_set(&condition));

    /* visit */

    condition = false;
}

其中的操作 test_and_set() 可以看成一个原子操作，通常由硬件来实现。如果 condition 为 false，while 循环会不断地查询 condition 的状态，直到其可用为止。因为在条件不满足时程序也一直在忙，这样会消耗 cpu 资源，所以自旋锁适合用在执行时间不长的临界区中，例如修改一个数值等。

由于自旋锁比较简单，pthread …

阅读全文…

hadoop笔记 (4)：streaming

ou Leave a comment

hadoop 提供了 3 种方式来实现自己的功能，一种是 java 接口，另一种是 pipes，还有一种是 streaming。streaming 允许用任何语言来开发 mapper 和 reducer，它们和 hadoop 之间的交互通过标准输入/输出来进行。这种方式的好处是调试很方便。

先来看一个使用 bash 编写的 wordcount 的例子：

#!/bin/bash

while read line; do
    arr=($line)
    let i=0
    while ! [ -z ${arr[$i]} ]; do
        echo -e "${arr[$i]}\t1"
        let i=$i+1
    done
…

阅读全文…

hadoop笔记 (3)：pipes例子分析 (2)

ou 1 Comment

使用 partitioner 和 combiner

下面的程序是对 hadoop 1.0.3 自带例子（src/examples/pipes/impl/wordcount-part.cc）的一个修改版：

#include <string>
#include <vector>
using namespace std;

#include <hadoop/Pipes.hh>
#include <hadoop/StringUtils.hh>
#include <hadoop/TemplateFactory.hh>

class WordCountMapper : public HadoopPipes::Mapper {

    public:

        WordCountMapper(HadoopPipes::TaskContext& context) {}

        void map(HadoopPipes::MapContext& context)
        {
            vector<string> words = HadoopUtils::splitString(context.getInputValue(), "
…

阅读全文…