Oracle Berkeley DB 中国研发团队的博客

@linchunsun
非常感谢您的回答，我已经用c#API完成了需求，感觉比SQL方式更好

@liao5930

我碰到的问题和你一样，如何才能联系到你？

c# 版 的 DBD
报错：尝试读取或写入受保护的内存。这通常指示其他内存已损坏

具体是什么原因，
而且能不能提供一个多线程访问的实例呀，
谢谢了

有没有python的封装呀？默认python自带的bdb好像版本很老。

非常感谢你的解答！
我已经替换python/dlls/sqlite3.dll为libdb_sql51.dll，
并且能成功执行sql操作了。

不过又引发了两个问题，还需要请教：
1. 我测试bdb sql的并发多进程写性能，我发现即使单个进程情况下，用executemany执行也仅能40-50条小数据插入/每秒
2.我用3个进程并发写的时候，测试了2次，其中一次出现了严重错误，说数据库损坏需要修复

我的测试如下：
1. dbsql k
2. 创建表 create table test(name varchar);
3.执行 test.py

test.py如下：

import sqlite3
import time
conn=sqlite3.connect(‘k’)
conn.isolation_level = None #set auto commit
vl=[]
for x in range(100):
vl.append((‘testtesttesttestahahaflsajfdlsajflasjflajflasjfa’,))
for x in xrange(100):
if x % 10 == 0:
print x,”->”,time.ctime()
conn.executemany(”’ insert into test values (?) ”’,vl)
conn.close()

—–end py—-

出错时信息如下：
D:\tmp>python test.py
0 -> Fri Jan 21 23:15:37 2011
10 -> Fri Jan 21 23:16:01 2011
20 -> Fri Jan 21 23:16:26 2011
30 -> Fri Jan 21 23:16:51 2011
40 -> Fri Jan 21 23:17:17 2011
50 -> Fri Jan 21 23:17:42 2011
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
Traceback (most recent call last):
File “test.py”, line 11, in
conn.executemany(‘ insert into test values (?) ‘,vl)
sqlite3.DatabaseError: database disk image is malformed
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: File handles still open at environment close
D:\tmp\k: Open file handle: D:\tmp\k-journal\..\k
D:\tmp\k: Open file handle: D:\tmp\k-journal\log.0000000003
D:\tmp\k: PANIC: fatal region error detected; run recovery

我用的是Berkeley DB 11gR2 5.1.19，测试在windows xp sp3上。

D:\tmp\k: PANIC: fatal region error detected; run recovery
这个问题我现在能稳定重现了，麻烦帮忙看看有什么解决方法，谢谢先。

步骤1:
d:>tmp>dbsql k
create table test(name);
.quit

步骤2：在一个cmd窗口
D:\tmp>python test.py 200 插入2000条记录（程序每次插入10条，插200次）

步骤3：在cmd窗口运行 python test.py 2000000 ，让这个进程一直运行中

同时步骤4：在另一个cmd窗口中：
a) d:\tmp> dbsql k
select * from test;
在打印test的记录过程中Ctrl+C，强制退出dbsql

b)再次运行 d:\tmp> dbsql k
再次运行 select * from test;
于此同时，上面那个窗口运行中的test.py会立刻错误并退出并打印信息：
sqlite3.DatabaseError: database disk image is malformed
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: PANIC: fatal region error detected; run recovery
D:\tmp\k: File handles still open at environment close
D:\tmp\k: Open file handle: D:\tmp\k-journal\..\k
D:\tmp\k: Open file handle: D:\tmp\k-journal\log.0000000003
D:\tmp\k: PANIC: fatal region error detected; run recovery

还有一种情况也会触发：
用下面这个程序：

import sqlite3
import time
import sys
conn=sqlite3.connect(‘k’)
conn.isolation_level = None
vl=[]
n=int(sys.argv[1])
print n

for x in range(100):
vl.append((‘testtesttesttestahahaflsajfdlsajflasjflajflasjfa’,))

def write(task, n):
import sqlite3
import time
conn=sqlite3.connect(‘k’)
conn.isolation_level = None
for x in xrange(n):
print task, ‘:’, x,”->”, time.ctime()
c=conn.cursor()
c.executemany(”’ insert into test values (?) ”’,vl)

”’
dbsql k
create table test(name);
”’

import thread
xx = thread.start_new_thread(write,(1,10000))
yy = thread.start_new_thread(write,(2,10000))

time.sleep(100000)

在两个cmd窗口同时运行：
python test2.py 1000
在其中一个窗口Ctrl+C，中断运行，然后再次运行，这时另一个cmd窗口中的程序就报错了！

@yang
你好，请问你的python具体版本，还有操作系统版本(Win32 / Win 64)? 我会看看问题是否可以重现。

python 2.5 windows xp sp3 32位
应该能重现，我很多客户机器上都出现了这个问题。
谢谢先。

@yang
你好，我已建立好测试环境。

在论坛上贴出的源码程序有全半角/格式的问题，欢迎把三进程并发的程序发到我的邮箱，rucong.zhao@oracle.com. 我会检查这个问题并给你回复。谢谢。

在 BerkeleyDB.DatabaseException.ThrowException(Int32 err)
在 BerkeleyDB.Internal.DB.open(DB_TXN txn, String file, String database, DBTYPE type, UInt32 flags, Int32 mode)
在 BerkeleyDB.BTreeDatabase.Open(String Filename, String DatabaseName, BTreeDatabaseConfig cfg, Transaction txn)
在 BerkeleyDB.BTreeDatabase.Open(String Filename, BTreeDatabaseConfig cfg)
在 IMLib.BerkeleyDB.BerkeleyDBHelper..ctor(String dbName)

您好：
在文中您提到Berkeley DB有in-memory cache功能，可以作为小型的内存数据库使用，我想问下在BDB作为内存数据库使用的时候，其支持的最大容量是多少啊？在存取性能上有测试数据吗？
Ps:
有没有BerkeleDB的QQ群啊？
谢谢

@chaohuang
您好：
我在运行db-5.2.28源码里提供的例子ex_sql_multi_thread(/db-5.2.28/examples/sql/c/ex_sql_multi_thread.c)时会发现偶尔丢行。
正常运行结果应该如下：
Check existing record number of the table
SQL: SELECT count(*) FROM university;
100025
但是偶尔会丢一到两行：
Check existing record number of the table
SQL: SELECT count(*) FROM university;
100024
发生几率差不多7‰.
并且在运行过程中，有时候会出现这样的log:DB_LOCK->lock_put: Lock is no longer valid

我的运行环境是：
CentOS6
$ uname -a
Linux localhost.localdomain 2.6.32-71.el6.x86_64 #1 SMP Fri May 20 03:51:51 BST 2011 x86_64 x86_64 x86_64 GNU/Linux

Berkeley DB version: db-5.2.28
编译时选项：
../dist/configure –enable-sql_compat –enable-test –with-tcl=/usr/lib64

您有邮箱吗或是QQ吗？ 能否详细讨论？
谢谢！

你好，请问程序运行在什么文件系统上？欢迎来信讨论(rucong.zhao@oracle.com), 谢谢

ext4
# file -s /dev/dm-2
/dev/dm-2: Linux rev 1.0 ext4 filesystem data (needs journal recovery) (extents) (large files) (huge files)

@chaohuang
您好，是运行在etc4上的。
在跑程序时仅仅是修改了源代码中ex_sql_multi_thread.c的main()函数：
修改如下：
int
main()
{
db_handle *db;
const char* db_name = “ex_sql_multi_thread.db”;

/* Check if current lib is threadsafe. */
if(!sqlite3_threadsafe()) {
fprintf(stderr,
“ERROR: The libsqlite version is NOT threadsafe!\n”);
exit(EXIT_FAILURE);
}
int try_times = 1000, try_step = 0;
for(try_step = 0; try_step < try_times; try_step ++){
printf("Exl_sql_multithread test: step = %d\n", try_step);

/* Setup environment and preload data. */
db = setup(db_name);
load_table_from_file(db, university_sample_data, 1/* Silent */);

/* Run example. */
ex_sql_multi_thread(db, db_name);

/* End. */
cleanup(db);

}

return 0;

}

后来通过ramdisk，在ramdisk系统上创建了ext3以及ext2文件系统，分别跑上面的程序，也会出现上面所提的丢行问题

adamsjtu :@chaohuang您好，是运行在etc4上的。在跑程序时仅仅是修改了源代码中ex_sql_multi_thread.c的main()函数：修改如下：intmain(){db_handle *db;const char* db_name = “ex_sql_multi_thread.db”;
/* Check if current lib is threadsafe. */if(!sqlite3_threadsafe()) {fprintf(stderr,“ERROR: The libsqlite version is NOT threadsafe!\n”);exit(EXIT_FAILURE);}int try_times = 1000, try_step = 0;for(try_step = 0; try_step < try_times; try_step ++){printf(“Exl_sql_multithread test: step = %d\n”, try_step);
/* Setup environment and preload data. */db = setup(db_name);load_table_from_file(db, university_sample_data, 1/* Silent */);
/* Run example. */ex_sql_multi_thread(db, db_name);
/* End. */cleanup(db);
}
return 0;
}
后来通过ramdisk，在ramdisk系统上创建了ext3以及ext2文件系统，分别跑上面的程序，也会出现上面所提的丢行问题

不好意思，打错字了，是ext4，不是etc4

我调用了commit语句后，发现数据没有写到硬盘中。不知道是什么原因引起的。我用的BDB 支持SQL的版本，版本号是db-5.1.19.
代码如下：
1
sqlite3 * m_pDB;
int nRet = sqlite3_open_v2(strDBName.c_str(), & m_pDB,SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE,NULL);
2
string strSQL=”CREATE TABLE [TBLClientAccount] ( [ClientId] CHAR (36), [AccountId] CHAR (36) );”;
char * errors;
nRet = sqlite3_exec(m_pDB, strSQL.c_str(), NULL, NULL, &errors);

3
nRet = sqlite3_exec(m_pDB, “begin;”, NULL, NULL, &errors);
4
nRet = sqlite3_exec(m_pDB, “INSERT INTO TBLClientAccount (ClientId,AccountId) VALUES(‘dd’,'ddd’); “, NULL, NULL, &errors);
5
nRet = sqlite3_exec(m_pDB, “commit;”, NULL, NULL, &errors);

6 拷贝数据库文件到d盘，然后用bdb自带的dbsql这个工具去打开数据。
我用select 语句，发现insert 的数据并没有写到表中。难道调用commit语句后，数据不会立刻写到硬盘中吗？

请教个基本的问题, 使用DB 句柄或者游标句柄写数据的时候，默认的情况下，是不是对cache的回写机制？如果保证同步写入呢？谢谢。

jdbc操作的数据库没问题，在bin目录下的dbsql.exe 读取 jdbc操作的数据后就会造成 jdbc无法读取的情况

C:\Program Files\Oracle\Berkeley DB 11gR2 5.2.36\bin>dbsql d:\db2
Berkeley DB 11g Release 2, library version 11.2.5.2.36: (September 14, 2011)
Enter “.help” for instructions
Enter SQL statements terminated with a “;”
dbsql> select * from test;
Error: file is encrypted or is not a database
dbsql> .exit

你好，
我在使用Oracle Berkeley DB 11g release 2中遇到问题，找不到答案。具体问题如下:
使用JDBC操作bdb 遇到高并发压力瓶颈，硬盘读写频繁，oracl 的3000并发写入查询没有压力，dbd就严重超时。环境Berkeley DB 11gR2 5.2.36，WIN7 32位系统。
现在解决不了这个问题后，就打算换成KEY,VALUE的操作方式去做,但是又出现另外问题,key,value操作生成的数据库,如何用dbsql.exe读出?jdbc能否读取出?
因为业务有需求可能这些接口都需要用到.请帮忙.

您好
版本 Berkeley DB 11gR2 5.2.36
发现了些问题，当并发2000时候单表一个字段，插入数据可以，硬盘灯常亮。建立sequence为主键，用select
nextval(“seq_vip_interface_log”); 与插入同时操作50后就会出现
c:\bdb\bdbtest.db:BDB0113 Thread/process 3724/3868 failed: BDB1507
Thread died i
n Berkeley DB library

后来用 primary key autoincrement 建表后就可以过，不过出现 java.sql.SQLException:
SQLite.Exception: database table is locked

cheng大师：你好，我初次接触BDB，由于工作需要使用BDB JE HA，我之前又从来没有接触过关于集群方面的东西，我照着BDB JE 中关于 HA 的示例程序做了一个测试，只能在localhost运行，如果我使用两台机器去做，在使用JVM运行的时候就一直不动了，非常希望cheng大师能帮帮我，谢谢~~~

之后还想使用多线程运行HA的东西，希望大师指导，哎~~~

@chaohuang
chao大师：你好，我初次接触BDB，由于工作需要使用BDB JE HA，我之前又从来没有接触过关于集群方面的东西，我照着BDB JE 中关于 HA 的示例程序做了一个测试，只能在localhost运行，如果我使用两台机器去做，在使用JVM运行的时候就一直不动了，非常希望cheng大师能帮帮我，谢谢~~~之后还想使用多线程运行HA的东西，希望大师指导，哎~~~

@chaohuang
谢谢，之前的问题弄好了，我只要把之前生成的数据库文件删除，就可以了（我不知道是不是由于数据库环境锁？【是这个名词吗？】的原因），用示例程序做了集群的性能测试，和不使用集群性能差别很大，不知道这个是什么原因，是我什么地方没有弄对吗？我是这样做的，一台单独的机器运行HARouter，另外一台机器运行三个数据库节点，插入10万条数据：
机器环境（CentOS Linux release 6.0 (Final)）
Memory：4G
Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz
使用HARouter进行负载均衡，一共花了22秒；如果不用集群的话平均7秒的样子
我看资料说集群不能使用多线程，是这样的吗？还有如果运行了事务也不能；官方的文档中关于锁的我看了，可能是我英文水平有限，好像没什么帮助

@chaohuang
大师，我还不知道你的邮箱诶，可以告诉我么？