在处理大量数据时，也许你曾经面对这样的需求：

1.  查询某个时间的所有记录或者一段时间的记录；

2.  查询开通了增值业务的所有客户；

3.  查询最热门的搜索关键字；

4.  删除在某日开户的所有客户信息；

5.  更新在某网点的名称，并更新所有客户数据等等。

在上述场景中，需要对大量数据做相同的操作。如果逐条记录处理，那么频繁函数调用会消耗掉大量的计算资源，并且该方案可能不是最优的。为了有效地提高上述场景的性能，Berkeley DB 5.1（下文简称BDB）开始提供面向C，Java和C#语言的批量操作API（具体包括批量查询，更新和删除），一次即可批量返回满足需要的数据记录。

备注：

1.  BDB 3.3及以上版本支持批量查询， 4.8及以上版本支持批量更新和删除；BDB 4.8以上版本支持Java API批量查询、删除和更新。BDB 4.8及以上支持C# API批量查询，5.1及以上版本支持批量删除和更新。

2.  使用批量操作，不需要特别的编译选项。

3.  BDB SQL目前尚不支持上述批量操作。

本文将以C API为例，简要地介绍批量查询、更新和删除的原理和使用方法，并提供一个批量查询的范例。对于Java和C#用户，使用方法与C API类似，在此就不详细介绍，请参考相关文档。

（二）概述

传统的BDB是非关系型（NoSQL）数据库，每一条记录分为键值（key）和数据项（value），所有非键值的属性都存放在数据项中。BDB SQL扩展了SQL解析，使用SQL语法管理BDB数据库，目前BDB SQL尚未支持批量操作。

BDB批量操作和逐条操作的最大不同是使用缓冲区来存取输入、输出数据集。当使用批量操作时，应用程序通过记录设置缓冲区，来存取批量操作的数据集。针对不同的操作类型，缓冲区可能仅存键值，或仅存数据项，或二者皆存。例如，若查询某键值的所有数据项，则需要使用一个缓冲区，返回一定数量的数据项。

根据缓冲区是否既存键值又存数据项，BDB的批量操作分为两种模式，DB_MULTIPLE模式和DB_MULTIPLE_KEY模式。在DB_MULTIPLE的模式下，任一缓冲区只存键值或数据项。如果需要操作批量键值及其数据项，则应用程序需要为键值和数据项分别提供各自的缓冲区，且两个缓冲区里的键值和数据项一一对应。在DB_MULTIPLE_KEY模式下，应用程序仅需要提供一个缓冲区，以操作于批量记录（包括其键值和数据项）。

由于应用程序需要根据具体场合设置合理的缓冲区大小，从而达到最好的性能。下文将根据不同的操作，具体阐述缓冲区的使用，以便开发者更清晰地使用和理解BDB批量操作。

（三）批量查询

批量查询可以用来查询一个键值对应的所有数据项或者连续键值对应的所有数据项，并将查询结果分批返回到缓冲区。例如，查询某帐户的所有交易记录，假设每条交易记录长度是100字节，设置一个1024字节大小的缓冲区，每次数据库可以读取满足条件的10条记录到该缓冲区；处理完该批记录后，BDB可继续提取下一批的10条记录，直到处理完所有满足条件的记录为止。

目前BDB批量查询仅支持查询连续的数据记录。若需要查询不连续的数据记录，可以在应用程序层面做一些处理，尽可能对连续的或者相邻的记录一块做查询。
批量查询通过调用以下接口实现:
-   DB->get(DB *db,DB_TXN *txnid, DBT *key, DBT *data, u_int32_t flags)
-   DBcursor->get(DBC *DBcursor, DBT *key, DBT *data, u_int32_t flags);

根据用户提供的键值或者游标所在位置，返回该键值对应的数据项，或者游标所在位置后一定数量的数据集。在调用的接口函数中，用于返回批量结果的DBT的data域指向应用程序提供的可用缓冲区，ulen域为缓冲区大小，flags域为DB_DBT_USERMEM。
在批量查询中,DB->get()支持DB_MULTIPLE模式，而DBC->get()可以同时支持DB_MULTIPLE和DB_MULTIPLE_KEY模式。

使用不同的模式和访问方法，得到的缓冲格式不尽相同。由于应用程序需要从缓冲中依次读出每一个数据项，因此，在此将更详尽地介绍一下各种缓冲格式和读取数据项的方法。

1.  DB_MULTIPLE模式下得到的只含批量数据项或者只含批量键值的缓冲：

Img 1 DB_MULTIPLE 缓冲

读取该缓冲中的每一个数据项的过程如下：
-       DB_MULTIPLE_INIT初始化读指针；
-       DB_MULTIPLE_NEXT依次读出每一个数据项。

2.  DB_MULTIPLE_KEY模式下得到的是一个含批量键值和数据项的缓冲：

1)   当数据库为BTree或者Hash时，

Img 2 DB_MULTIPLE_KEY 非recno 缓冲

读取该缓冲中的每一个键值和数据项的过程如下：
-       DB_MULTIPLE_INIT初始化读指针；
-       DB_MULTIPLE_KEY_NEXT依次读出每一条记录，并获得其键值和数据项。

2)  当数据库为Recno或者Queue时候，

Img 3 DB_MULTIPLE_KEY recno缓冲

读取该缓冲中的每一个键值和数据项的过程如下：
-      DB_MULTIPLE_INIT初始化读指针；
-      DB_MULTIPLE_RECNO_NEXT依次读出每一个记录，并获得其recno和数据项。

BDB批量查询的一个重要应用是：实现分页技术。当查询连续记录，若每条记录长度稳定，选择合适的缓冲大小，可使当前分页结果即是每次返回到缓冲的记录。若记录长度不一时，可计算当前分页的最后一个键值，并保留其后的记录，待下一次批量查询时，并到下一个分页中。当数据量较大，亦可将结果暂存在一个临时内存数据库中。

本文将在第六部分具体介绍一个批量查询的实例。

（四）批量更新

批量更新将不同的键值和数据项一一写入给定缓冲区，并调用DB->put()写接口，批量写入或者更新这些数据记录。DB->put()支持DB_MULTIPLE和DB_MULTIPLE_KEY两种模式的批量更新。

1.  DB_MULTIPLE模式

DB->put()中的key和data分别指向两个不同的缓冲，前者存储批量键值，后者存储相同数量的批量数据项。缓冲的组装过程与访问控制相关。

1)  在BTree和Hash数据库中，缓冲组装过程如下：
-       DB_MULTIPLE_WRITE_INIT分别初始化key和data的DBT；
-       DB_MULTIPLE_WRITE_NEXT依次将每条记录的键值和数据项分别写入key和data。两个缓冲的格式与img 1相同。

2)  在Queue和Recno数据库中，缓冲组装过程如下
-       DB_MULTIPLE_RECNO_WRITE_INIT分别初始化key和data的DBT；
-       DB_MULTIPLE_RECNO_WRITE_NEXT依次将每条记录的recno和数据项分别写入key和data。存放数据项的缓冲的格式与img 1相同，存放键值的缓冲的格式如下所示：

Img 4 DB_MULTIPLE_KEY recno的键值缓冲

2.  DB_MULTIPLE_KEY模式

DB->put()中的key指向一个缓冲，该缓冲存储了成对的键值和数据项，而data为空。在BTree和Hash数据库中，缓冲的格式与Img 2相同。在Queue和Recno数据库中，缓冲的格式与Img 3相同。

（五）批量删除

批量删除调用DB->del()接口，删除指定键值的所有记录，或者指定键值和数据项的所有记录。若删除二级索引中的记录，主数据库中的记录亦会被相应的删除。在逻辑上，成功的批量删除操作相当于循环地根据每一个键值或每一对键值/数据项删除其相应的记录。

DB->del()支持DB_MULTIPLE和DB_MULTIPLE_KEY两种模式。

1.  DB_MULTIPLE模式
同批量更新中的DB_MULTIPLE模式类似，将一系列键值组装到key指定的缓冲中，并调用DB->del()，删除这些键值对应的一条或者多条记录。

2.  DB_MULTIPLE_KEY模式
同批量更新中的DB_MULTIPLE_KEY模式类似，将一系列键值和其数据项组装到key指定的缓冲中，并调用DB->del()，删除这些键值和数据项所在的记录。

（六）运行示例程序

在BDB发布包中的<db-x.y.z>/examples/c/ex_bulk.c演示了批量查询，更新和删除操作。这里将提供BTree数据库中批量查询的代码片段，并通过代码注释进行讲解。

本文将提供BTree数据库中批量查询的片段。


DBC *dbcp;
DBT key, data;
size_t retklen, retdlen;
char *retkey, *retdata;
int ret, t_ret;
void *p;

memset(&key, 0, sizeof(key));
memset(&data, 0, sizeof(data));

/* 分配5MB的缓冲空间 */
#define BUFFER_LENGTH (5 * 1024 * 1024)
if ((data.data = malloc(BUFFER_LENGTH)) == NULL)
return (errno);
data.ulen = BUFFER_LENGTH;
data.flags = DB_DBT_USERMEM;

if ((t_ret = dbcp->c_close(dbcp)) != 0) {
dbp->err(dbp, ret, "DBcursor->close");
if (ret == 0)
ret = t_ret;
}
free(data.data);


(七) 总结

从上文可以看出，BDB通过引入缓冲区的技术实现了批量查询、批量更新和批量删除操作。事实证明，在大多数情况下可以获得明显的性能提升和减少磁盘IO的次数。当然，缓冲区大小的设置根据各个应用场合会不同，如何保证性能的同时兼顾缓冲区的大小是需要测试来获得的。

关于BDB的批量操作更详尽的信息，请参考文档：

• http://download.oracle.com/docs/cd/E17076_02/html/programmer_reference/am_misc_bulk.html
• http://download.oracle.com/docs/cd/E17076_02/html/api_reference/C/dbt.html

关于BDB的更详尽的信息，请参考文档：

• BDB：http://download.oracle.com/docs/cd/E17076_02/html/
• BDB中文博客：http://www.bdbchina.com/
• BDB微博：http://weibo.com/bdbchina

I. BDB中Btree结构
BDB中Btree存储数据库的元数据信息，索引及数据信息。元数据信息存储在元数据结点上，索引及数据本身等以不同的数据格式存储在相应的结点上。

如上图所示，Btree有五种类型的结点（页），元数据结点，中间结点，叶子结点，溢出结点和重复结点。他们分别以P_BTREEMETA，P_IBTREE，P_LBTREE，P_OVERFLOW和P_LDUP的类型存在。除了元数据结点以外，其他结点都以Btree页为基本格式存在：

typedef struct _db_page {
DB_LSN lsn; /* 00-07: 日志序列号. */
db_pgno_t pgno; /* 08-11: 当前页号*/
db_pgno_t prev_pgno; /* 12-15: 前一页. */
db_pgno_t next_pgno; /* 16-19: 后一页. */
db_indx_t entries; /* 20-21: 页里数据个数. */
db_indx_t hf_offset; /* 22-23: 空闲字节偏移量最高位. */
u_int8_t level; /* 24: Btree 树层. */
u_int8_t type; /* 25: 页类型. */
} PAGE;

Btree中每页至少含有上述26个字节的头部分，若有校验，其后紧跟校验码。此后则是数据部分，根据页类型不同，数据分布各有不同。

下面分别介绍这五种不同结点。
1. 元数据结点
元数据包含与该Btree数据库相关的特定信息，以BTMETA33（或者BTMETA）的结构存在，分为基本元信息DBMETA33（或者DBMETA）和Btree特定元信息。

Btree特定元信息包括Btree页最小key个数，根结点，加密，校验等等，基本元信息包括日志序列号，当前页号，版本号，页大小，页类型，最后一页页号，分区号等等。

Btree的元数据信息存储在同一页，以便操作过程中频繁被访问。Btree元数据结构占用空间512字节，因此Btree的页大小的下限是512字节。

2. 中间结点
Btree的中间结点存储着key的索引。在Btree页头以后，在index的位置依次存储页内每一条索引记录的偏移量，而索引记录本身从尾部开始存储。每一条索引记录结构如下：

typedef struct _binternal {
db_indx_t len; /* 00-01: key数据长度. */
u_int8_t type; /* 02: 页类型和删除标记. */
u_int8_t unused; /* 03: 未用空间. */
db_pgno_t pgno; /* 04-07: 指向页的页号. */
db_recno_t nrecs; /* 08-11: 子树个数. */
u_int8_t data[1]; /* key内容. */
} BINTERNAL;

一个中间结点包含PAGE中的头信息及众多BINTERNAL索引记录，其页结构如下：

其中上一页页号(prev pgno)为父亲结点的页号，下一页页号(next pgno)不维护。

Btree的中间结点的层数很大程度上影响了查询效率。BDB的Btree是平衡树，但通常情况下中间结点不会超过三层。假设Btree数据库页大小为4096字节，无校验，32位整型key，理想情况下，任何一个中间结点可索引(4096 – 26) / (12 + 4) = 254个key，则一层中间结点最多可索引254个key，两层中间结点最多可索引254 * 254 = 64516个key，三层中间结点可索引最多可索引(254 * 254) ^2 = 4162314256个key。当key较大时，用户可适度扩大页的大小，以增加每一个页索引的个数，减少 Btree树的层数。

3. 叶子结点
叶子结点存储key和data的内容。与中间结点类似，此类结点的页头后面分别存储着每对key和data的偏移量，且在页尾成对存储着key和data相应的数据记录。每一条数据记录结构如下：

typedef struct _bkeydata {
db_indx_t len; /* 00-01: key数据长度. */
u_int8_t type; /* 02: 页类型和删除标记. */
u_int8_t data[1]; /* key/data内容. */
} BKEYDATA;

一个叶子结点包含PAGE中的头信息及众多BKEYDATA数据记录，其页结构如下：

叶子结点的上一页页号记录上一个叶子结点的页号，下一页页号记录下一个叶子结点的页号。叶子结点之间是相互链接的，因此，遍历整个数据库仅需要依次访问下一页（或者上一页）叶子结点即可。

页中间的空闲区越小，该页的利用率越高。当一页的空闲区不足以插入一条新数据时，该页将被分裂，该页一半的数据将分配到新页中。频繁的分裂可能产生大量较低利用率的页，如果可优化插入的数据使其有序，可在一定程度上避免出现大量低利用率的页。

利用率低的页浪费较多空间，而且增加了访问这些页中数据所需要读的页的个数，从而影响访问效率。然而，空间利用率并不是越高越好，由于BDB是页级锁，若一个页的记录较多，其更新的并发性也相对较弱。因此，页的空间利用率并非总是越高越好，需要根据具体的应用场景做出合理的选择。

4. 溢出结点
当存储的索引或记录数据的大小超过约四分之一页时，该数据内容将依次存储在几个溢出结点中，并组成一个溢出链表。该条溢出数据将首个溢出结点的页号，数据长度等记录在其相应的中间结点或者叶子结点中。每一条溢出数据（key或者data）的结构如下：

typedef struct _boverflow {
db_indx_t unused1; /* 00-01: 未用填充空间. */
u_int8_t type; /* 02: 页类型和删除标记. */
u_int8_t unused2; /* 03: 未用填充空间. */
db_pgno_t pgno; /* 04-07: 页号. */
u_int32_t tlen; /* 08-11: 完整长度. */
} BOVERFLOW;

溢出链表中每一个结点的页头开始顺序存储溢出数据。任何一个溢出链表仅保存一个溢出数据，因此，每一个溢出链表最后一个溢出结点上的剩余空闲块将无法被下一个溢出数据复用。

当溢出数据普遍存在于各个记录时，亦可考虑将该类溢出数据存储在其他数据库（例如hash）中，在当前数据库中仅存储其引用。例如，每一个图片信息分为元数据和图片数据，元数据包括图片编号，图片名，作者，创作时间，图片数据则是图片本身。在BDB中，若将元数据和图片数据存储在同一条Btree记录中，由于图片数据较大，元数据和图片数据都将被存储在溢出结点中，每次访问图片元数据都需要访问一个叶子或中间结点，再找到其相应的溢出结点。此时，可在Btree数据库中存储图片的元数据，而在hash数据库中存储图片编号及图片本身。这样，当频繁访问图片元数据时，不需要每次读出溢出结点，从而提高访问性能。

5. 重复结点
当同一个key允许有多个不同的data时，即key可重复时，其相应的data将以BOVERFLOW的结构存储在当前叶子结点中，其中的页号为当前key的重复链表的第一个结点的页号。重复结点跟中间结点类似，不同的是，重复结点仅存储同一个key对应的各个data。

以上关于不同结点的结构均可在源代码中的dbinc/db_page.h中找到。

II. 使用工具查看Btree的统计信息和内容
1. db_stat
db_stat是BDB自带的工具，提供了BDB环境中数据库、事务、锁、缓存等统计信息，其相应的API是 DB->stat()或DB->stat_print()。

”db_stat -d”可查看某个具体数据库信息，Btree数据库的统计信息包括：

- Btree magic number： Btree幻数
- Btree version number： Btree版本号
- Byte order：字节顺序
- Flags： 配置
- Minimum keys per-page： 每页key的最少数目
- Underlying database page size：页大小
- Overflow key/data size： 溢出key/data字节数
- Number of levels in the tree： 树的层数
- Number of unique keys in the tree： 不重复的key的个数
- Number of data items in the tree：data的个数
- Number of tree internal pages： 中间结点的个数
- Number of bytes free in tree internal pages： 中间结点的空闲字节数
- Number of tree leaf pages：叶子结点的个数
- Number of bytes free in tree leaf pages：叶子结点中的空闲字节数
- Number of tree duplicate pages：重复结点的个数
- Number of bytes free in tree duplicate pages： 重复页的空闲字节数
- Number of tree overflow pages：溢出结点的个数
- Number of bytes free in tree overflow pages ：溢出结点的空闲字节数
- Number of empty pages：空页的个数
- Number of pages on the free list：空闲列表中的页个数

根据上述统计信息，可获知Btree的key/data数目，不同结点的空间使用情况。可据此做适当的调优，例如调整页大小以获得更佳的空间利用率，压紧以释放空闲空间等等。

2. db_dump
db_ dump是BDB自带的工具，用于查看数据内容，其输出格式包括两部分：头部分和数据部分，头部分包括版本，格式，类型，设置，页大小等等。如下所示：

VERSION=3
format=bytevalue
type=Btree
duplicates=
db_pagesize=
…
HEADER=END
…
DATA=END

db_dump可直观地看到数据在BDB的存储内容，亦可结合db_load完成数据迁移工作。当数据库没有开启事务时，亦可辅助拯救出错页前的有效数据。

III. 配置Btree
以下配置Btree的方法都应在打开Btree前完成。
1. 设置页大小：DB->set_pagesize()
2. 设置缓存大小：DB->set_cachesize()
3. 设置Btree中key的比较函数：DB->set_bt_compare()
默认按照字典顺序大小，短字节排在长字节前。
4. 设置Btree中间结点的前缀比较函数：DB->set_bt_prefix()
保证key的唯一性的前提下，尽可能减少中间结点存储的key的字节数，当key有大量重复的字节时，可减小树的大小及提高查询性能。
5. 设置Btree压缩函数：DB->set_bt_compress()
默认压缩函数在所有key上执行前缀压缩，当压缩后的key与前一个相同时，则对data进行压缩。若要使用定制的压缩函数，则需要提供其相应的解压函数。
6. 设置允许重复或者有序重复：DB->set_flags()
设置DB_DUP允许同一个key有不同data，设置DB_DUPSORT类似DB_DUP，且这些data是有序的。
7. 设置重复比较函数：DB->set_dup_compare()
同一个key的不同data之间的比较函数。
8. 设置每页最小key数：DB->set_bt_minkey()
设置每页中至少有多少个key。
9. 设置记录数：DB->set_flags()中设置DB_RECNUM
除了key以外，允许使用记录数获取Btree里的记录。
10. 设置反向分裂：DB->set_flags()中设置DB_REVSPLITOFF
当数据库周期性地增大和缩小时，可关闭反向分裂，避免死锁，提高性能。

IV. 其他Btree常用方法
1. DB->compact()
压紧数据库并选择性地释放空闲链表上的页。可通过配置Btree填充率，释放页个数及时延，来控制压紧过程。另外，可对整个数据库进行压紧，亦可只释放空闲链表中已有的页空间。

2. DB->key_range()
DB->key_range()可查看当前key在数据库所有key中的大概位置，大于，小于或者等于该key的比例。

V. 参考文档

• C API文档

• Btree访问方法

• 哈希和Btree的选择

• Btree的专用方法

• Btree的磁盘需要
  

最新发布的Oracle Berkeley DB 11gR2 5.0引入了一个SQL用户期盼已久的新特性——Oracle Berkeley DB SQL,简称DBSQL。该版本兼容SQLite 3.6.22，继承并支持SQLite中的全文检索功能。SQLite全文检索功能先后支持FTS1，FTS2和FTS3，其中FTS1/FTS2与SQLite不再兼容，Berkeley DB（简称BDB）同SQLite一样，完美支持FTS3（若需要FTS1和FTS2的支持，请与我联系emily.fu[at]oracle.com）。

全文检索以文档的全部文本信息作为检索对象，为每一个词建立索引，当用户查询时，根据预先建立的索引进行查找，从而很快找到需要的内容。较普通检索，不论从查全率和查准率，还是查询速度上，全文检索在文本搜索上都有较大的优势。如SQLite文档中提到，在相同的文本数据上，SQLite的普通检索和全文检索的检索速度差距上百倍。

全文检索最初起源于文档检索，搜索引擎繁荣时期得以高速的发展，成就了google，baidu等脍炙人口的搜索引擎。同时，它在主流数据库中也得到了充分的体现。Oracle 9i中的全文检索技术Oracle text已经非常完善，并具有强大的文本检索能力和智能化的文本管理能力。又如SQL Server，My SQL，DB2，Sybase等数据库都有相应的全文检索工具，并得以广泛应用。如今，全文检索的应用范围已不仅仅限于文本数据，在非结构化数据如图像，声音，视频等等亦有各种尝试。除了上述数据库的全文检索工具以外，常用的全文检索工具还有开源的lucene等等。

如今BDB提供全文检索功能，BDB应用程序无须依赖外部全文检索工具，而专注提升全文检索的性能和结果满意度。全文检索的关键技术在于分词，BDB全文检索工具兼容自定义分词器，应用程序可定制分词器，从而提供高效而专业的检索。此外，排序算法很大程度影响结果集的呈现，BDB全文检索基于通用的TF-IDF算法，多维度分析结果的相关性，将结果集进行科学地排序，使得相关性越高的结果越早出现。

本文从SMS示例，引入FTS3的工作原理，在BDB中的编译，使用和常用文档。

（二） SMS示例

BDB 11gR2 5.0开发包中有一个FTS3的示例，模拟短信数据库，对短信进行全文检索。假设一条短信记录包括联系人，号码和短信内容三部分信息。通常情况下，短信内容长度在几十个字节到一百多个字节不等，若逐个匹配字符查找到相应关键字，搜索效率很低。若使用全文检索，联系人，号码和短信内容中的每一个词项都将建立其相应的倒排索引，即每个词项都成为关键字，大大加快了查询速度。

该FTS3示例源代码在<db>\sql\examples\c\ex_sql_fts3.c，短信数据来源于<db>\sql\examples\data\sms.csv。

短信数据库设计如下：

const sample_data sms_sample_data = {
"sms",
"\tDROP TABLE IF EXISTS sms;\n"
"\tCREATE VIRTUAL TABLE sms\n"
"\tUSING fts3(\n"
"\t\tnumber varchar(10) NOT NULL,\n"
"\t\tname   varchar(20),\n"
"\t\tcontent    TEXT\n"
"\t, tokenize=simple);",
"../sql/examples/data/sms.csv", 3};

部分短信数据：

1111111111,Aaron,i really like the way you sing but don t give up your day job
2222222222,Belle,income tax is a real cash cow for the government
…

该示例编译方法请参考本文第IV部分，其演示过程和部分效果如下：
1． 初始化示例，创建短信数据库，并载入原始数据。
2． rowid等于10的（也称为docid）短信记录查询。rowid是一个FTS3表中每一条记录的全局标识。

SELECT rowid, * FROM sms WHERE rowid=10;"

3． 用MATCH查询所有联系人是Aaron的短信记录。

SELECT * FROM sms WHERE name MATCH 'Aaron';

4． 查询联系人和短信内容中出现以Jack为前缀的单词的短信记录。

SELECT * FROM sms WHERE sms MATCH 'Jack*';

5． 查询短信内容含Demitrius grey的短信记录。

SELECT * FROM sms WHERE content match 'name:Demitrius grey';

6． 查询短信内容含eag* beav*词组的短信记录，其中*表示任意字符。

SELECT * FROM sms WHERE content MATCH '\"eag* beav*\"';

7． 查询联系人和短信内容中既出现Hedin又出现english的短信记录。

SELECT * FROM sms WHERE sms MATCH 'Hedin AND english';

8． 使用NEAR查询clear和air距离不超过2个词的短信记录。

SELECT * FROM sms WHERE sms MATCH 'clear NEAR/2 air'

9． 使用snippet功能，显示含Elymas的短信记录的片段。

SELECT snippet(sms) FROM sms WHERE sms MATCH 'Elymas';

下图是在android上运行该实例的截屏。

示例更详细的信息，请参考<db>/sql/examples/c/README以及程序中的注释。

FTS3提供了一些丰富的特性，辅助用户得到更好的查询结果，后文将逐一介绍。

（三） FTS3工作原理

FTS3允许用户创建内置全文索引的特殊表（我们称为FTS3表），其中的全文索引有助于在数据库中高效地查找某一个或者几个特殊词汇。

FTS3表全文检索的工作原理如图所示：

存储一条记录（文档数据）时，将该记录划分成各自独立的词项，为每个词项建立一个倒排索引。当查询时，遍历倒排索引，找到其相应的记录号，根据与查询条件的相关性等排序规则，返回结果集。

在DBSQL中，FTS3表的使用方法同普通表类似，可以进行插入、删除、修改等操作，但略有差异：

• FTS3表为虚拟表

CREATE VIRTUAL TABLE enrondata1 USING fts3(content TEXT);

• 数据类型定义无效，自动转换成TEXT

• 自定义内置分词器（如porter，icu等），也可定制分词器

CREATE VIRTUAL TABLE papers USING fts3(author, document, tokenize=porter);

• 使用MATCH关键字进行查询

SELECT count(*) FROM enrondata1 WHERE content MATCH ‘linux’

• 使用Snippet，Offset，Matchinfo提供更精准的结果

• FTS3表可通过以下SQL进行优化

INSERT INTO docs(docs) VALUES(‘optimize’);

• FTS3表不支持索引和触发器

（四） 启动FTS3全文检索功能

1) 在BDB 11gR2 5.0开发包，启动FTS3全文检索功能，需要在编译BDB时指定编译选项SQLITE_ENABLE_FTS3，编译后得到包含FTS3的BDB SQL库和相应的shell命令工具dbsql。

• Linux

cd <db>/build_unix
../dist/configure CPPFLAGS=-DSQLITE_ENABLE_FTS3 –enable-sql <configure options>
make dbsql

由此，生成支持FTS3的BDB SQL库libdb_sql-5.0.a或者libdb_sql-5.0.so。

• Windows

打开<db>/build_windows/Berkeley_DB.sln，右键单击其中的db_sql，选择properties ，打开C/C++，在Preprocessor Definitions里增加 SQLITE_ENABLE_FTS3，继而编译solution或者db_sql工程，即可得到支持FTS3的BDB SQL库libdb_sql50.dll和libdb_sql50.lib。

链接上述的BDB SQL库，即可在应用程序或者BDB SQL Shell(dbsql)中使用FTS3。

2) 编译得到BDB SQL库后，编译和运行第II部分提到的FTS3示例如下：

• Linux

cd <db>/build_unix
make ex_sql_fts3

生成ex_sql_fts3，运行即可看到所有示例中所有查询结果。

• Windows

打开<db>/build_windows/ Berkeley_DB_examples.sln，右键单击其中的ex_sql_fts3，编译得到ex_sql_fts3.exe，运行即可。

（五） DBSQL全文检索特性

下面将用一个新的例子，更详细的介绍DBSQL全文检索的特性。
首先创建表格和载入数据如下：

CREATE VIRTUAL TABLE docs USING fts3(title, body);
INSERT INTO docs(docid, title, body) VALUES(1, 'database','a database is a software system');
INSERT INTO docs(docid, title, body) VALUES(2,'BDB','Berkeley DB is called BDB for short');
INSERT INTO docs(docid, title, body) VALUES(3,'Berkeley DB','Berkeley DB is the industry-leading open source embedded database')

DBSQL提供的特性有：

1. 前缀查询：前缀后加“*”作为查询条件，返回以该前缀开头的单词所在的文本，或者文本中的某个域。

SELECT * FROM docs WHERE docs MATCH 'Be*'; -- Select rows 2 and 3
SELECT * FROM docs WHERE title MATCH 'Be*'; -- Select rows 3

2. 词组查询：返回含有某个词组的文本或者文本的某个域。

SELECT * FROM docs WHERE docs MATCH '"software system"'; -- Select rows 1
SELECT * FROM docs WHERE docs MATCH '"soft* sy*"'; -- Select rows 1
SELECT * FROM docs WHERE body MATCH '"soft* sy*"'; -- Select rows 1

3. 邻近查询：返回距离在指定范围的多个单词所在的文本或者文本中的某个域。

SELECT * FROM docs WHERE docs MATCH 'Berkeley NEAR open'; -- Select rows 3
SELECT * FROM docs WHERE docs MATCH 'Berkeley NEAR/6 open'; -- Select rows 3
SELECT * FROM docs WHERE docs MATCH '"Berkeley DB" NEAR/6 open'; -- Select rows 3

4. 布尔逻辑：支持NOT，OR，AND二进制集合操作。多个单词之间“-”用于表示NOT语义，隐式支持AND，即多个单词之间若没有操作符，默认使用AND。若添加编译选项SQLITE_ENABLE_FTS3_PARENTHESIS，则显式支持AND和NOT。

SELECT * FROM docs WHERE docs MATCH 'Berkeley-database'; -- Select rows 2
SELECT * FROM docs WHERE docs MATCH 'Berkeley database'; -- None
SELECT * FROM docs WHERE docs MATCH 'Berkeley OR database'; -- Select rows 1, 2 and 3

5. Snippet：格式化查询结果中的查询条件，可自定义格式，默认用<b></b>标识单词出现的位置，提取查询结果中的所有列，最多返回64个字符。

SELECT snippet(docs) FROM docs WHERE docs MATCH 'database’;
-- <b>database</b>
Berkeley DB is the industry-leading open source embedded <b>database</b>

6. Offset：返回某个单词或多个单词在文本中出现的位置集合，每个位置由四个数字表示，分别是单词在查询中位置，所在文本的列，位移和长度。

SELECT offsets(docs) FROM docs WHERE docs MATCH 'database';
-- 0 0 0 8 1 0 2 8
-- 1 0 57 8

7. Matchinfo：返回满足条件的文本的BLOB值，该BLOB由(2 + C * P * 3)个32位无符号整型表示，其中C为FTS3表被查询的列数，P为查询的单词数目。前两个字节分别表示查询条件的词组数量和被查询的列数，此后每三个整型数表示当前文本中查询单词或词组在列中出现的位置，这三个整型数分别是当前单词是否出现在当前行的当前列，当前单词所有行的该列出现的次数，当前单词在所有行出现的次数。

SELECT quote(matchinfo(docs)) FROM docs WHERE docs MATCH 'database';
-- X'0100000002000000010000000100000001000000010000000200000002000000'
-- X'0100000002000000000000000100000001000000010000000200000002000000'

8. 分词器：可选择simple或者porter分词器，其中默认选择simple分词器，两者的差异在于porter匹配拥有相同词根的单词，例如frustrated和frustrate可以搜出相同的结果，而simple仅仅匹配单词本身。此外，可自定义一个分词器，以适应不同地区和语言的要求。

（六） 参考文档

• SQLite关于FTS3的文档，http://www.sqlite.org/fts3.html

• FTS3开发文档，http://ft3.sourceforge.net/

• BDB 11gR2 5.0 文档列表, http://www.oracle.com/technology/documentation/berkeley-db/db/index.html

• 如何在Windows编译FTS3，http://www.oracle.com/technology/documentation/berkeley-db/db/installation/build_win_sql.html#id3369820

• 如何在Linux/Unix编译FTS3，http://www.oracle.com/technology/documentation/berkeley-db/db/installation/build_unix_sql.html#id3374303

Net framework源代码开放算是微软在开源社区开天辟地了，C#作为其主要载体，承载着微软无限希望。这万里长征的第一步，却引起了开源社区的不少涟漪。作为开源社区首屈一指的数据库，BDB借着东风，乘胜追击，推出了其C# API。在此，笔者抛砖引玉，简述C# API如何使用。

1. 概述

BDB C# API建立在BDB C API的基础上，通过上层C#的接口，调用BDB内核。BDB C# API基于.Net Framework 2.0及以上版本，可运行于32位和64位Windows平台，实例开发环境为Microsoft Visual Studio 2005及以上版本。除了特别说明，下文中提到的编译或运行操作均在Microsoft Visual Studio2005中进行。

BDB C# API打包在BDB源代码里（最新代码可从http://www.oracle.com/technology/software/products/berkeley-db/index.html下载）。在BDB的代码中，BDB C# API的代码主要分布于以下目录：

l <db-4.8.24>\csharp：C# API源代码；

l <db-4.8.24>\libdb_csharp：db.i和db_csharp_wrap.c，C# API和C API方法之间的映射；

l <db-4.8.24>\test\scr037：C# API的测试代码；

l <db-4.8.24>\examples_csharp：使用C# API的实例。

通过编译BDB C# API，在<db-4.8.24>\build_windows\AnyCPU\{release, debug}将得到相应的C#库。

BDB C# API支持绝大多数BDB的功能。此外，BDB C#API接口清晰明了，并提供了C#用户专用的参考的使用手册，源代码，测试及多种实例。因此，使用BDB C# API，可以轻松地实现一个功能完备的数据库应用。

2. 编译

编译BDB C# API本身需要BDB C的动态库。在BDB的源代码中，C# API的解决方案已包含了BDB C工程，因此，编译该解决方案，无须另外编译和指定BDB C动态库。

该解决方案文件包含10个工程，其工程名，内容和相对主目录db\的工程文件路径分别是：

上述工程可以在单个工程中编译，亦可在整个BDB C# API的解决方案中编译。

(1) 编译解决方案

BDB C# API解决方案已配置好所有BDB C#动态库所需的库及环境。因此，在配置管理器中选择平台(win32或者x64)和编译模式（debug或者release）后，编译该解决方案，便可生成相应的BDB C动态库，C#动态库以及所有实例的可执行文件。如图2和图3所示，进入配置管理器，选择编译配置、平台及工程项。

(2) 编译单个工程

单独编译表格1中的任一工程，打开其工程文件，编译前，应先编译其依赖项。上述10个工程的工程依赖关系，产生的主要对象及其路径如表格2所示：

3. 运行C# API的单元测试

C# API单元测试基于NUnit框架。NUnit是一个开源的面向所有.Net语言的单元测试框架，提供可视化界面和命令行的支持，可在http://www.nunit.org/index.php下载最新版本。

安装完NUnit后，编译DotNetTest测试工程，在<db-4.8.24>\test\scr037\bin\Debug\得到DotNetTest.dll。在NUnit中运行该测试类库前，需要确定libdb48.dll，libdb_csharp48.dll，libdb_dotnet48.dll都在环境变量或者当前目录下。在NUnit中打开生成的DotNetTest.dll，运行该工程，可得到测试结果。

4. 运行示例程序

BDB C# API解决方案提供了6个实例，它们分别是ex_access，ex_btrec，ex_env，ex_repquote，ex_sequence，ex_txn。在解决方案中编译和运行实例工程，在Visual Studio设置该实例工程为启动工程，若依赖的动态链接库已编译，则编译和运行该实例即可。例如，运行ex_txn，编译C#库得到libdb48.dll，libdb_csharp48.dll，libdb_dotnet48.dll，打开ex_txn工程文件，如图4，编译该工程，运行结果如图5所示。

5. 基于BDB C# API的开发

使用BDB C# API进行基于数据库应用程序的开发，需要libdb48.dll，libdb_csharp48.dll和libdb_dotnet48.dll三个动态链接库。首先，在开发的工程中添加libdb_dotnet48.dll的引用，由于libdb_dotnet48.dll需要调用本地代码得到的libdb48d.dll和libdb_csharp48.dll。因此，libdb48d.dll，libdb_csharp48d.dll应放在本工程路径或者环境变量中，以便运行时加载。开发过程中，在代码中添加BDB C# API的命名空间，即“using BerkeleyDB”，便可使用BDB C# API。本文在此举一例子，打开数据库并插入一条Hello World的记录。代码如下：

using System;
using System.Collections;
using System.Collections.Generic;
using System.IO;
using System.Text;
using System.Xml;
using BerkeleyDB;

class Program {
      public static void Main(string[] args) {
             BTreeDatabaseConfig btreeDBConfig = new BTreeDatabaseConfig();
             btreeDBConfig.Creation = CreatePolicy.ALWAYS;
             btreeDBConfig.PageSize = 512;
             using (BTreeDatabase btreeDB = BTreeDatabase.Open(
                 "bdb.db", btreeDBConfig)) {

                    btreeDB.Put(new DatabaseEntry(BitConverter.GetBytes((int)1)),
                                     new DatabaseEntry(ASCIIEncoding.ASCII.GetBytes("Hello World!")));
                    KeyValuePair pair = btreeDB.Get(new DatabaseEntry(BitConverter.GetBytes((int)1)));
                    System.Console.WriteLine(ASCIIEncoding.ASCII.GetString(pair.Value.Data));
             }
      }
}

运行结果显示如下：

BDB是成熟高效的嵌入式引擎，个人认为它提供的C# API在小到手机等消费终端，大至企业级应用都可以使用上BDB这个成熟高效的数据库引擎。更多的信息请参考

http://www.oracle.com/technology/documentation/berkeley-db/db/programmer_reference/csharp.html，欢迎垂询。