Berkeley DB: 在c api调用中异常退出导致卡在 futex_wait 调用-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Berkeley DB: 在c api调用中异常退出导致卡在 futex_wait 调用

2016-06-16 14:45:50 2561 2

C开发,使用berkeley db 4.3 (/usr/lib64/libdb-4.3.so) on RHEL5.6 with kernel 2.6.18-238_xen_AMD64.

在我的测试中 (写入 1,000,000 key/value pairs), 如果某个进程在对db进行操作的过程中异常退出(ctrl + c, kill, or assert fails) , 此后对db的打开都会被block. 使用strace可以看出,进程卡在了一个 futex(ptr_to_something, FUTEX_WAIT, 2, NULL) 调用。之前它刚打开 __db.00x(e.g __db.001, __db.002, __db.003) .

目前我所知的唯一方法就是删掉 __db.00x 文件,后续测试表明数据库并未损坏,仍可以正常读写。这个出方法基本可以满足我的需求,但是我想知道是否有更好、或者说更优雅的处理方案。

下面列出一些strace的输出,以及用户操作db的代码,也许会有帮助。

some of the strace stderr

...  
open("__db.001", O_RDWR)                = 3  
fcntl(3, F_SETFD, FD_CLOEXEC)           = 0  
fstat(3, {st_mode=S_IFREG|0640, st_size=24576, ...}) = 0  
close(3)                                = 0  
open("__db.001", O_RDWR)                = 3  
fcntl(3, F_SETFD, FD_CLOEXEC)           = 0  
mmap(NULL, 24576, PROT_READ|PROT_WRITE, MAP_SHARED, 3, 0) = 0x2afcc4149000  
close(3)                                = 0
futex(0x2afcc4149000, FUTEX_WAIT, 2, NULL **[[stuck here]]**
code to operate the database

全选复制放进笔记typedef DB* db_handle;
db_handle bdb_open(const char *filename, u_int32_t cache_size_mb)
{
    int ret;
    DB_ENV *env;
    db_handle dbp;
    u_int32_t flags = DB_CREATE | DB_THREAD | DB_INIT_LOCK | DB_INIT_MPOOL | DB_INIT_LOCK ;
    u_int32_t gb = cache_size_mb / 1024, mb = cache_size_mb % 1024;

    if (ret = db_env_create(&env, 0)) {
        fprintf(stderr, "db_env_create:%d, %s\n", ret, db_strerror(ret));
        exit(EXIT_FAILURE);
    }

    if (ret = env->set_timeout(env, 3 * 1000000, DB_SET_LOCK_TIMEOUT)) {
        fprintf(stderr, "env->set_timeout:%d, %s\n", ret, db_strerror(ret));
        exit(EXIT_FAILURE);
    }

    if (ret = env->set_lk_detect(env, DB_LOCK_DEFAULT)) { /* this seems to be of no use in my case */
        fprintf(stderr, "env->set_lk_detect:%d, %s\n", ret, db_strerror(ret));
        exit(EXIT_FAILURE);
    }

    if (ret = env->set_cachesize(env, gb, mb * 1024 * 1024, 0)) {
        fprintf(stderr, "env->set_cachesize:%d, %s\n", ret, db_strerror(ret));
        exit(EXIT_FAILURE);
    }

    if ((ret = env->open(env, NULL, flags, 0)) != 0) {
        fprintf(stderr, "db_env_open:%d, %s\n", ret, db_strerror(ret));
        exit(EXIT_FAILURE);
    }

    if (ret = db_create(&dbp, env, 0)) {
        fprintf(stderr, "db_create:%d, %s\n", ret, db_strerror(ret));
        exit(EXIT_FAILURE);
    }

    if (ret = dbp->open(dbp, NULL, filename, NULL, DB_BTREE, flags, 0664)) {
        fprintf(stderr, "dbp->open:%d, %s\n", ret, db_strerror(ret));
        exit(EXIT_FAILURE);
    }

    return dbp;
}

int bdb_put(db_handle db, void* key, u_int32_t keylen, void* val, u_int32_t vallen)
{
    DBT dkey, dval;
    bzero(&dkey, sizeof(dkey));
    bzero(&dval, sizeof(dval));
    dkey.data = key, dkey.size = keylen;
    dval.data = val, dval.size = vallen;
    return db->put(db, NULL, &dkey, &dval, 0);
}

int bdb_get(db_handle db, void* key, const u_int32_t keylen,
                          void* buf, u_int32_t buflen, u_int32_t* nwrite)
{
    DBT dkey, dval;
    bzero(&dkey, sizeof(dkey));
    bzero(&dval, sizeof(dval));
    dkey.data = key, dkey.size = keylen;
    dval.data = buf, dval.ulen = buflen, dval.flags = DB_DBT_USERMEM;
    int ret = db->get(db, NULL, &dkey, &dval, 0);
    if (ret == 0 && nwrite != NULL)
        *nwrite = dval.size;
    return ret;
}
取消 提交回答
全部回答(2)
  • jesuszhu_
    2019-07-17 19:40:52

    linux里大部分会睡眠的同步原语都是用futex实现的. 所以你会看见它停在那里. 

    0 0
  • a123456678
    2019-07-17 19:40:52

    因为BDB是嵌入式的数据库操作,多个进程使用就相当于每个进程的代码都要存在一整套BDB的操作,错误处理代码,这个对事务性操作尤其重要。

    0 0
添加回答
相关问答

1

回答

有没有大佬 知道,flink web ui里面,taskmanager和jobmanager的Log

2022-08-15 10:47:15 148浏览量 回答数 1

1

回答

通过本机-->自动安装的方式安装探针并执行的,那么这个agent是什么时候起的?它端口号和我服务的一

2022-08-02 11:22:16 156浏览量 回答数 1

1

回答

Jupyter中R语言中的aov(x~A+B+A:B)方法的作用是什么?

2021-12-01 20:42:55 291浏览量 回答数 1

1

回答

java中int indexOf(String str, int fromIndex)是什么意思?

2021-11-15 13:43:29 176浏览量 回答数 1

1

回答

python中的函数rindex(str,beg=0,end=len(string))的意思是什么?

2021-11-04 19:29:21 426浏览量 回答数 1

1

回答

用户反馈 Feedback iOS SDK:App 把 Build 号和 Version 号保持一致

2020-03-27 21:40:00 458浏览量 回答数 1

1

回答

如何将String(“ dog”)拆分为Arraylist ['d','o','g']?

2019-12-26 20:09:58 710浏览量 回答数 1

0

回答

GitLab运行程序不一致:exec-maven-plugin:1.6.0:java org.apa

2019-11-29 23:04:47 703浏览量 回答数 0

1

回答

ERROR: WriteN, ALIVC_RTMP send error 32, Broken pipe, (140 bytes)

2017-07-07 18:53:08 3233浏览量 回答数 1

0

回答

求web环境NGINXPHPPYTHONMYSQL一键安装包,官方能出一不?

2015-02-02 12:57:21 6727浏览量 回答数 0
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
数据资源的基础设施API总线
立即下载
ACE 区域技术发展峰会:Flink Python Table API入门及实践
立即下载
API 网关实践
立即下载