ADO.NET是微软在.NET Framework中负责数据访问的类库集，它是使用在COM时代奠基的OLE DB技术以及.NET Framework的类库和编程语言来发展的，它可以让.NET上的任何编程语言能够连接并访问关系数据库与非数据库型数据源（例如XML，Excel或是文字档数据），或是独立出来作为处理应用程序数据的类对象，其在.NET Framework中的地位是举足轻重，许多人将ADO.NET视为ADO的下一个版本，但其实它是一个全新的架构、产品与概念。

DBSQL ADO.NET包是一个针对Windows ADO.NET用户发布的独立包，已包含DBSQL所需的源代码和文件。ADO.NET用户可直接用它来编译生成基于Berkeley DB引擎的ADO.NET库。

用户可在Oracle Berkeley DB的官方网站下载以下文件：

• Berkeley DB dbsql-adodotnet-5.2.28.zip, for ADO.NET (12M)

下文将详细介绍在Windows和Windows Mobile环境下的编译使用过程：

1. 环境需求

如果你的环境没有满足以下要求，相对应的工程是无法编译通过的：

• System.Data.SQLite.Linq 需要 .Net Framework 3.5 SP1.
• SQLite.Designer需要Microsoft Visual Studio SDK.

如果你不需要以上两个组件，可忽略相应的系统需求。

2. Windows

以Windows XP 32bit Visual Studio 2008为例:

打开SQLite.NET.2008.sln，如果遇到对话框询问加载方式，选择“正常加载项目”。

选择编译方式为ReleaseNative, Win32

编译整个项目。

测试生成的库：右键选择test.2008, 调试，启动新实例。点击“Run”，运行整个测试集。这些内置的ADO.NET测试同时也是很好的范例。

3. Windows Mobile

以下仍以Windows XP 32bit Visual Studio 2008为例。首先，要安装Windows Mobile 6.5.3 DTK (Developer Tool Kit) 在这里下载。

打开SQLite.NET.2008.WinCE.sln，如果遇到对话框询问加载方式，选择“正常加载项目”

然后，在”Mixed Platforms”所在的下拉菜单中选择“配置管理器”，然后如下图所示新建一个平台：

编译选项选择ReleaseNativeOnly, 然后编译整个工程。

编译通过后，将SQLite.Interop.2008.WinCE布署到Windows Mobile仿真器上：
右键选择SQLite.Interop.2008.WinCE, 属性->部署->远程目录
按需定义部署目录。这里为了方便演示下面的测试，将目录设定为：
%CSIDL_PROGRAM_FILES%\testce

确定保存后，再次右键选择SQLite.Interop.2008.WinCE，选择部署。稍等一会后，当VisualStudio输出窗口显示以下内容，表明仿真器已经启动
========== 部署: 成功1 个，失败0 个，跳过0 个==========

同样的部署System.Data.SQLite.Compact.2008, 按下图所示选择仿真器

右键选择testce.2008, 调试，启动新实例。如上图选择仿真器。测试集会自动运行，这些内置的ADO.NET测试同时也是很好的范例。运行结果如下所示(在仿真器中可用方向键对结果翻页)：

4. 结束语

以上介绍了DBSQL ADO.NET发布包的编译使用过程。你可以在发布包的根目录下找到具体的官方文档。如果在使用过程中有任何问题，欢迎和我交流！

BDB Blog：http://www.bdbchina.com/
BDB微博：http://weibo.com/bdbchina
个人微博：http://weibo.com/2153755234

1. Oracle Berkeley DB 和Mobile Server的架构

Oracle Berkeley DB 和Mobile Server的架构

2. Oracle企业移动应用平台

Oracle企业移动应用平台

本人介绍的是Berkeley DB 5.o以来新推出的SQL接口 — 由Oracle和SQLite同时演讲。其中BDB部分的精彩剪辑有：

1. Oracle数据库家族的构成及区分

在Oracle，我们的数据库产品线覆盖从企业数据中心到个人移动端，覆盖到几乎所有的场合。根据计算能力和技术要求，我们划分如下图一所示：

图一 Oracle数据库家庭的构成和划分

那么，针对BDB而言，我们的强项主要集中于2个方向：仪器及设备 + 企业基础架构

2. BDB的典型应用是在仪器及设备 和 企业基础架构层

具体的使用场景和优势，请参考下图二和图三所示：

图二 BDB在仪器及设备的应用

图三 BDB在企业基础架构层的应用

3. SQLite 不是和BDB竞争，而是合作

根据SQLite的作者Dr. Richard Hipp，SQLite的设计是用来替代文件系统的fopen()。SQLite面向的更多是：要求简单的数据库功能（SQL，事物等），使用简单，性能及并发要求不高的场合。

SQLite与BDB的组合（即BDB 11gR2的SQL接口）面对的是由于SQLite本身的瓶颈，而不能达到的一些问题和场合 — 比如更好的并发性，性能，加密，集群，更好的技术支持和市场推广，等等。因而说SQLite不会和BDB直接竞争，相反是合作共赢，共同推动SQLite社区和用户发展。

如下图四所示，BDB 11gR2的SQL接口是SQLite的SQL层和BDB的底层存储引擎的完美结合。

图四 BDB 11gR2的SQL接口是SQLite的SQL层和BDB的底层存储引擎的完美结合

4. SQLite的可能发展方向

图五 SQLite 目前缺失的功能

注意，这里Dr. Richard用的词是：SQLite 目前缺失的功能，并不代表说将来会提供以及什么时候以何种方式提供。

]]> http://www.bdbchina.com/2010/10/oracle-open-world-2010%e6%97%a7%e9%87%91%e5%b1%b1-bdb-%e6%bc%94%e8%ae%b2%e7%b3%bb%e5%88%97-i/feed/ 0 http://www.bdbchina.com/2010/07/oracle-berkeley-db%e5%8a%a0%e5%85%a5sqlite%e8%81%94%e7%9b%9f/ http://www.bdbchina.com/2010/07/oracle-berkeley-db%e5%8a%a0%e5%85%a5sqlite%e8%81%94%e7%9b%9f/#comments Fri, 09 Jul 2010 02:01:02 +0000 chaohuang http://www.bdbchina.com/?p=1330 我很高兴的宣布，Oracle Berkeley DB正式加入SQLite联盟，成为SQLite赞助商的一员！

我想这将是一个双赢的结果，对于SQLite的发展而言是积极的，得到更多来自厂商的支持；对于使用Oracle Berkeley DB SQL用户而言，我们的SQL接口将和SQLite发展保持一致，所有Berkeley DB (及其使用的SQLite接口)的问题和反馈都可以通过Oracle来得到支持和解决。

更多关于Oracle Berkeley DB SQL的信息，请访问：

* http://www.bdbchina.com/2010/03/oracle-berkeley-db-支持sql啦！/

* http://www.oracle.com/us/products/database/berkeley-db/index.html

跟多关于SQLite的信息，请访问：

* http://sqlite.org/

本文假定您已经根据在unixlinux平台上应用berkeley db 11gr2sql成功编译了DBSQL.

最后,需要特别强调的是,在做存储引擎转换和数据迁移前,必须做好用户数据的备份,以防操作不慎或其它意外造成的数据损坏.

Firefox 3.6 on Linux

Firefox distributions do not link to external/system sqlite3 lib. So we have to rebuild firefox from source code to force it to link system sqlite3 by “–enable-system-sqlite”

1. Install sqlite-3.6.22
We need original sqlite3 because we have to migrate existing database.

Download http://www.sqlite.org/sqlite-3.6.22.tar.gz

tar zxf sqlite-3.6.22.tar.gz
env CFLAGS="-DSQLITE_SECURE_DELETE=1" ./configure --prefix=/usr
make
sudo make install

2. Build Firefox 3.6
Note:This step may replace your system Firefox. Please backup your ~/.mozilla at first.
Get source code

mkdir $HOME/src/firefox-3.6
hg clone http://hg.mozilla.org/mozilla-central/ src
cd $HOME/src/firefox-3.6

Create a file “mozconfig” in current directory. Content of file “mozconfig”:

mk_add_options MOZ_OBJDIR=@TOPSRCDIR@/objdir-ff-release
ac_add_options --enable-system-sqlite
ac_add_options --disable-ogg
ac_add_options --disable-wave
ac_add_options --disable-crashreporter
ac_add_options --disable-necko-wifi

Build

make -f client.mk
sudo make -f client.mk install

3. Buid BDB SQL
Place up-to-date db source code on $HOME/hg/db_x86

cd $HOME/hg/db_x86/build_unix
env CFLAGS="-O3" ../dist/configure --enable-sql_compat --enable-sql
make dbsql && make install

4. Modify Firefox linking

cd /usr/local/lib/firefox-3.7a2pre
sudo ln -sf $HOME/install/lib/libdb_sql-5.0.so libsqlite3.so.0

5. Data Migration
(The directory name on my computer is “yezkdh8w.default”. It may be different in your platform)
Here is an example for data migration. Here we just take downloads.sqlite as example. You may need to go through all *.sqlite files:

cd ~/.mozilla/firefox/
cp yezkdh8w.default yezkdh8w.default.bak -r # backup
cd yezkdh8w.default
bash ../firefox_convert.sh /usr/bin/sqlite3 /home/rucong/install/bin/dbsql
$ sqlite3 downloads.sqlite
SQLite version 3.6.22
Enter ".help" for instructions
sqlite> .echo ON
sqlite> .output dump
.output dump
sqlite> .dump
.dump
sqlite> .quit
.quit
$ mv downloads.sqlite downloads.sqlite.bak
$ ~/hg/db_x86/build_unix/dbsql downloads.sqlite
Berkeley DB 11g Release 2, library version 11.2.5.0.21: (March 30, 2010)
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
dbsql> .read dump
dbsql> .quit
$ rm dump

6. End
That’s all. Execute the new Firefox to see how it works.

SQLite Manager

1. Install SQLite Manager
Use above Firefox to visit SQLite Manager Plugin and install it.
Restart Firefox. We can start SQLite Manager by Menu->Tools->SQLite Manager now.

2. Open a BDB SQL Database

Generate database
Note: The version of BDB SQL has to be the same as the one we applied in Firefox.

cd db/build_unix
make ex_sql_binding
./ex_sql_binding

Now we get BDB SQL database ex_sql_binding.db.

Use SQLite Manager to open the generated db

Start SQLite Manager to open database db/build_unix/ex_sql_binding.db:

This guide describes how to apply DBSQL JDBC Driver in integrated development environment ADF/JDeveloper step by step.
Environment:

• OS: Windows XP 32bit
• ADF Business Components: 11.1.1.56.60
• Java(TM) Platform: 1.6.0_18
• JDeveloper: 11g Release 1(11.1.1.3.0)

1. Installing the Berkeley DB

• Make sure that the Java environment you apply in the building should be the same as ADF/JDeveloper’s.
• Refer to http://www.oracle.com/technology/documentation/berkeley-db/db/installation/build_win_sql.html for instructions about building JDBC Driver on Windows platform. The Release build option is recommended.
• Add the dll path into system PATHenvironment variable, e.g. add D:\jdbc\db-5.0.21\build_windows\Win32\Release to your %PATH%

2. Create JDBC Connection in JDeveloper

2.1 Select File->new->General->Connections->Database Connection and fill in the form like Figure 1. Select button “new” to create new driver SQLiteJDBCDriver(see following Figure 2).
Figure 1

2.2 Create a new driver SQLiteJDBCDriver. You should back to Figure 1 after clicking button “OK”.
Figure 2

2.3 You can use button “Test Connection” to test the setting in Figure 1. If you encounter NullPointerException, please refer following section “Troubleshooting 4.1″

2.4 Create an empty project(or open an existing project). Select Edit->properties->Libraries Classpath to add the registered DBSQL_JDBC:
Figure 3

3. Running the JDBC Sample Code

This chapter only shows how to run the JDBC samples downloaded from Sun (now belongs to Oracle) Developer Network. You can skip this chapter if you already have a test environment.

3.1 Downloading JDBC sample code from Sun
You can download the JDBC sample code from Sun Developer Network. See “JDBC programming examples from all three editions (ZIP format)” at http://java.sun.com/products/jdbc/reference/codesamples/index.html.

3.2 Modifications Needed
Create an empty project and add all JDBC sample code into it. You will definitely need to:

• Replace Class.forName(“myDriver.ClassName”) in all sample code files with Class.forName(“SQLite.JDBCDriver”)
• Replace “jdbc:mySubprotocol:myDataSource” in all sample code files with jdbc:sqlite:/D:\\example.db
• Change the variable name “enum” in OutputApplet.java to “enum1″, since as “enum” is a keyword in some Java environment, and may not be used as an identifier. Otherwise, you may encounter “Error(87,31): as of release 5, ‘enum’ is a keyword, and may not be used as an identifier”

3.3 Running examples

Other examples does not work because BDSQL JDBC driver does not support User-defined type or something like that.

Take SQLStatement.java for example, since it depends on “InsertCoffees(or BatchUpdate) and InsertSuppliers”, further more, “InsertCoffees(or BatchUpdate)” again depends on “CreateCoffees”, and “InsertSuppliers” depends on “CreateSuppliers”, so one reasonable sequence to run the SQLStatement example looks like this:

Execute CreateCoffee.java
Execute CreateSuppliers.java
Execute InsertCoffee.java
Execute InsertSuppliers.java
Execute SQLStatement.java

Finally, we can get result like below:

Row 1:
   Column 1:  Acme, Inc.
   Column 2:  Colombian

Row 2:
   Column 1:  Acme, Inc.
   Column 2:  Colombian_Decaf

Process exited with exit code 0.

Here is a screenshot of the execution result of the SQLStatement
Figure 4

4. Troubleshooting

4.1 Edit db_sql_jdbc.vsproj for different JDK environemt
If you encounter one of following issues:

• Encounter NullPointerException in JDeveloper JDBCconnection testing(figure 1)
• Hits “ClassNotFoundException: SQLite.JDBC2x.JDBCConnection” when executing Java programs.

That means that your Java environment requires JDBC2x.* instead of JDBC2z.*. So you need to edit build_windows/ex_sql_jdbc.vcproj, replace all JDBC2z with JDBC2x and rebuild the project (ex_sql_jdbc.vcproj).

R-Tree是一种和BTree类似的数据结构，支持高维数据的快速检索，被广泛应用于各种空间数据中。R-Tree的一个典型的应用是从许多空间对象的信息中找出用户关心的那个。如给定一座城市各个建筑物的经纬度坐标并存储于R-Tree中，用户可以通过“查找当前位置向西五公里内的所有餐厅”，“查找会展中心方圆一公里内的所有汽车站”等方式来查询自己感兴趣的某些特定建筑。

2 BDB11gR2的R-Tree功能

新发布的BerkeleyDB 11gR2(以下简称BDB11gR2）版本能够无缝地兼容SQLite的接口，从而支持各种基于SQLite的应用，包括SQLite自带R-Tree扩展应用。关于SQLite的R-Tree细节，可参见http://www.sqlite.org/rtree.html。
下面，本文将从编译和使用两方面，介绍如何在BDB11gR2中使用R-Tree功能。

2.1 编译

BDB11gR2通过编译开关控制是否启用R-Tree功能。默认情况下，BDB11gR2是不启用R-Tree的。要获得R-Tree的支持，则应该在编译时加上SQLITE_ENABLE_RTREE标志。

Linux平台

cd build_unix
../dist/configure CPPFLAGS=-DSQLITE_ENABLE_RTREE --enable-sql
make dbsql


Windows平台

在工程文件的属性中，选择 Properties -> Configuration Properties -> c/c++ -> Command Line -> Additional Options, 加入/D DSQLITE_ENABLE_RTREE，并重新编译工程。

2.2 使用R-Tree

一棵R-Tree实际上对应于一张虚拟表。建立R-Tree索引的过程，实际上就是建立虚拟表的过程。和普通表类似的，我们也可以对这张特殊的虚拟表进行插入，删除，更新等操作。

我们以下面这张图为例来说明R-Tree的典型操作和应用。

在图1中，有三个蓝色的矩形，代表三个建筑的边界，标记为1，2，3。它们的坐标信息如图所示。我们要建立一棵R-Tree，来存储这些矩形的坐标信息，并在此基础上进行一些简单的查询。

建立R-Tree索引

CREATE VIRTUAL TABLE demo_index USING rtree(
id,
minX, maxX,
minY, maxY
);

以上操作建立了一张R-Tree索引表。该索引表中每一条记录代表了一个矩形框。每条记录由5列组成，其中id是一个整数类型的主键，minX，maxX分别代表矩形框横坐标的最小值和最大值，minY，maxY分别代表矩形框纵坐标的最小值和最大值。注意，BDB11gR2中的R-Tree表的列数必须是3-11之间的基数，其中第一列是表的主键，2k和2k+1列分别代表第k维数据的下界和上界(k=1~5).

插入数据

向R-Tree的表中插入数据，和向普通表中插入数据的语法是完全一致的。
以下三条语句插入了图1中的三个矩形：

INSERT INTO demo_index VALUES(
1,
0, 2,
0, 1
);
INSERT INTO demo_index VALUES(
2,
3, 5,
3, 5
);
INSERT INTO demo_index VALUES(
3,
4, 5,
1, 4
);

基于R-Tree的查询

和普通表类似的，用户卡可以对R-Tree表进行查询。如

SELECT id FROM demo_index
WHERE id=1;

但R-Tree表上更为常用和典型的查询则是范围查询(Range-Query). 举例如下：

SELECT id FROM demo_index
WHERE minX>=0 AND maxX<=3
AND minY>=0 AND maxY<=2;

查询的结果为
1

上面这条查询的含义是找出图1中所有被包含在红色虚线矩形框中的矩形。

SELECT id FROM demo_index
WHERE maxX>=1 AND minX<=4
AND maxY>=0 AND minY<=4;
查询结果为
1
2

上面这条查询的含义是找出图1中所有和黑色虚线矩形框有交集的矩形。

总结

R-Tree在高维数据的检索中有着广泛的应用。各种地理信息，带时间记录的归档信息等，都可以通过建立基于R-Tree的索引，来达到快速检索的目的。欢迎通过使用Berkeley DB11gR2的RTree功能来构建自己的R-Tree索引，若有任何相关问题，请联系  Linchun dot sun at Oracle dot com。

CREATE VIRTUAL TABLE demo_index USING rtree(

   id,               

   minX, maxX,       

   minY, maxY        

);

以上操作建立了一张R-Tree索引表。该索引表一共由5列组成，每一条记录代表了一个矩形框。其中id是一个整数类型的主键，minX，maxX分别代表矩形框横坐标的最小值和最大值，minY，maxY分别代表矩形框纵坐标的最小值和最大值。注意，r-tree的列数n必须为2m+1，其中m为表示对象的维数。

插入数据

在R-Tree的表中插入数据，和往普通表中插入数据的语法是完全一致的。

以下三条语句插入了图1中的三个矩形：

INSERT INTO demo_index VALUES(

1,                   

0, 2,  

0, 1     

);

INSERT INTO demo_index VALUES(

    2,

    3, 5,

    3, 5

);

INSERT INTO demo_index VALUES(

    3,

    4, 5,

    1, 4

);

基于R-Tree的查询

和普通表类似的，用户卡可以对R-Tree表进行查询。如

SELECT id FROM demo_index

 WHERE id=1;

但R-Tree表上更为常用和典型的查询则是范围查询(Range-Query). 

SELECT id FROM demo_index     

 WHERE minX>=0 AND maxX<=3

   AND minY>=0 AND maxY<=2;

查询的结果为

1

这条查询的含义是找出图1中所有被包含在红色虚线矩形框中的矩形。

SELECT id FROM demo_index     

 WHERE maxX>=1 AND minX<=5

   AND maxY>=0 AND minY<=4;

查询结果为

1

2

3

这条查询的含义是找出图2中所有和黑色虚线矩形框有交集的矩形。

最新发布的Oracle Berkeley DB 11gR2 5.0引入了一个SQL用户期盼已久的新特性——Oracle Berkeley DB SQL,简称DBSQL。该版本兼容SQLite 3.6.22，继承并支持SQLite中的全文检索功能。SQLite全文检索功能先后支持FTS1，FTS2和FTS3，其中FTS1/FTS2与SQLite不再兼容，Berkeley DB（简称BDB）同SQLite一样，完美支持FTS3（若需要FTS1和FTS2的支持，请与我联系emily.fu[at]oracle.com）。

全文检索以文档的全部文本信息作为检索对象，为每一个词建立索引，当用户查询时，根据预先建立的索引进行查找，从而很快找到需要的内容。较普通检索，不论从查全率和查准率，还是查询速度上，全文检索在文本搜索上都有较大的优势。如SQLite文档中提到，在相同的文本数据上，SQLite的普通检索和全文检索的检索速度差距上百倍。

全文检索最初起源于文档检索，搜索引擎繁荣时期得以高速的发展，成就了google，baidu等脍炙人口的搜索引擎。同时，它在主流数据库中也得到了充分的体现。Oracle 9i中的全文检索技术Oracle text已经非常完善，并具有强大的文本检索能力和智能化的文本管理能力。又如SQL Server，My SQL，DB2，Sybase等数据库都有相应的全文检索工具，并得以广泛应用。如今，全文检索的应用范围已不仅仅限于文本数据，在非结构化数据如图像，声音，视频等等亦有各种尝试。除了上述数据库的全文检索工具以外，常用的全文检索工具还有开源的lucene等等。

如今BDB提供全文检索功能，BDB应用程序无须依赖外部全文检索工具，而专注提升全文检索的性能和结果满意度。全文检索的关键技术在于分词，BDB全文检索工具兼容自定义分词器，应用程序可定制分词器，从而提供高效而专业的检索。此外，排序算法很大程度影响结果集的呈现，BDB全文检索基于通用的TF-IDF算法，多维度分析结果的相关性，将结果集进行科学地排序，使得相关性越高的结果越早出现。

本文从SMS示例，引入FTS3的工作原理，在BDB中的编译，使用和常用文档。

（二） SMS示例

BDB 11gR2 5.0开发包中有一个FTS3的示例，模拟短信数据库，对短信进行全文检索。假设一条短信记录包括联系人，号码和短信内容三部分信息。通常情况下，短信内容长度在几十个字节到一百多个字节不等，若逐个匹配字符查找到相应关键字，搜索效率很低。若使用全文检索，联系人，号码和短信内容中的每一个词项都将建立其相应的倒排索引，即每个词项都成为关键字，大大加快了查询速度。

该FTS3示例源代码在<db>\sql\examples\c\ex_sql_fts3.c，短信数据来源于<db>\sql\examples\data\sms.csv。

短信数据库设计如下：

const sample_data sms_sample_data = {
"sms",
"\tDROP TABLE IF EXISTS sms;\n"
"\tCREATE VIRTUAL TABLE sms\n"
"\tUSING fts3(\n"
"\t\tnumber varchar(10) NOT NULL,\n"
"\t\tname   varchar(20),\n"
"\t\tcontent    TEXT\n"
"\t, tokenize=simple);",
"../sql/examples/data/sms.csv", 3};

部分短信数据：

1111111111,Aaron,i really like the way you sing but don t give up your day job
2222222222,Belle,income tax is a real cash cow for the government
…

该示例编译方法请参考本文第IV部分，其演示过程和部分效果如下：
1． 初始化示例，创建短信数据库，并载入原始数据。
2． rowid等于10的（也称为docid）短信记录查询。rowid是一个FTS3表中每一条记录的全局标识。

SELECT rowid, * FROM sms WHERE rowid=10;"

3． 用MATCH查询所有联系人是Aaron的短信记录。

SELECT * FROM sms WHERE name MATCH 'Aaron';

4． 查询联系人和短信内容中出现以Jack为前缀的单词的短信记录。

SELECT * FROM sms WHERE sms MATCH 'Jack*';

5． 查询短信内容含Demitrius grey的短信记录。

SELECT * FROM sms WHERE content match 'name:Demitrius grey';

6． 查询短信内容含eag* beav*词组的短信记录，其中*表示任意字符。

SELECT * FROM sms WHERE content MATCH '\"eag* beav*\"';

7． 查询联系人和短信内容中既出现Hedin又出现english的短信记录。

SELECT * FROM sms WHERE sms MATCH 'Hedin AND english';

8． 使用NEAR查询clear和air距离不超过2个词的短信记录。

SELECT * FROM sms WHERE sms MATCH 'clear NEAR/2 air'

9． 使用snippet功能，显示含Elymas的短信记录的片段。

SELECT snippet(sms) FROM sms WHERE sms MATCH 'Elymas';

下图是在android上运行该实例的截屏。

示例更详细的信息，请参考<db>/sql/examples/c/README以及程序中的注释。

FTS3提供了一些丰富的特性，辅助用户得到更好的查询结果，后文将逐一介绍。

（三） FTS3工作原理

FTS3允许用户创建内置全文索引的特殊表（我们称为FTS3表），其中的全文索引有助于在数据库中高效地查找某一个或者几个特殊词汇。

FTS3表全文检索的工作原理如图所示：

存储一条记录（文档数据）时，将该记录划分成各自独立的词项，为每个词项建立一个倒排索引。当查询时，遍历倒排索引，找到其相应的记录号，根据与查询条件的相关性等排序规则，返回结果集。

在DBSQL中，FTS3表的使用方法同普通表类似，可以进行插入、删除、修改等操作，但略有差异：

• FTS3表为虚拟表

CREATE VIRTUAL TABLE enrondata1 USING fts3(content TEXT);

• 数据类型定义无效，自动转换成TEXT

• 自定义内置分词器（如porter，icu等），也可定制分词器

CREATE VIRTUAL TABLE papers USING fts3(author, document, tokenize=porter);

• 使用MATCH关键字进行查询

SELECT count(*) FROM enrondata1 WHERE content MATCH ‘linux’

• 使用Snippet，Offset，Matchinfo提供更精准的结果

• FTS3表可通过以下SQL进行优化

INSERT INTO docs(docs) VALUES(‘optimize’);

• FTS3表不支持索引和触发器

（四） 启动FTS3全文检索功能

1) 在BDB 11gR2 5.0开发包，启动FTS3全文检索功能，需要在编译BDB时指定编译选项SQLITE_ENABLE_FTS3，编译后得到包含FTS3的BDB SQL库和相应的shell命令工具dbsql。

• Linux

cd <db>/build_unix
../dist/configure CPPFLAGS=-DSQLITE_ENABLE_FTS3 –enable-sql <configure options>
make dbsql

由此，生成支持FTS3的BDB SQL库libdb_sql-5.0.a或者libdb_sql-5.0.so。

• Windows

打开<db>/build_windows/Berkeley_DB.sln，右键单击其中的db_sql，选择properties ，打开C/C++，在Preprocessor Definitions里增加 SQLITE_ENABLE_FTS3，继而编译solution或者db_sql工程，即可得到支持FTS3的BDB SQL库libdb_sql50.dll和libdb_sql50.lib。

链接上述的BDB SQL库，即可在应用程序或者BDB SQL Shell(dbsql)中使用FTS3。

2) 编译得到BDB SQL库后，编译和运行第II部分提到的FTS3示例如下：

• Linux

cd <db>/build_unix
make ex_sql_fts3

生成ex_sql_fts3，运行即可看到所有示例中所有查询结果。

• Windows

打开<db>/build_windows/ Berkeley_DB_examples.sln，右键单击其中的ex_sql_fts3，编译得到ex_sql_fts3.exe，运行即可。

（五） DBSQL全文检索特性

下面将用一个新的例子，更详细的介绍DBSQL全文检索的特性。
首先创建表格和载入数据如下：

CREATE VIRTUAL TABLE docs USING fts3(title, body);
INSERT INTO docs(docid, title, body) VALUES(1, 'database','a database is a software system');
INSERT INTO docs(docid, title, body) VALUES(2,'BDB','Berkeley DB is called BDB for short');
INSERT INTO docs(docid, title, body) VALUES(3,'Berkeley DB','Berkeley DB is the industry-leading open source embedded database')

DBSQL提供的特性有：

1. 前缀查询：前缀后加“*”作为查询条件，返回以该前缀开头的单词所在的文本，或者文本中的某个域。

SELECT * FROM docs WHERE docs MATCH 'Be*'; -- Select rows 2 and 3
SELECT * FROM docs WHERE title MATCH 'Be*'; -- Select rows 3

2. 词组查询：返回含有某个词组的文本或者文本的某个域。

SELECT * FROM docs WHERE docs MATCH '"software system"'; -- Select rows 1
SELECT * FROM docs WHERE docs MATCH '"soft* sy*"'; -- Select rows 1
SELECT * FROM docs WHERE body MATCH '"soft* sy*"'; -- Select rows 1

3. 邻近查询：返回距离在指定范围的多个单词所在的文本或者文本中的某个域。

SELECT * FROM docs WHERE docs MATCH 'Berkeley NEAR open'; -- Select rows 3
SELECT * FROM docs WHERE docs MATCH 'Berkeley NEAR/6 open'; -- Select rows 3
SELECT * FROM docs WHERE docs MATCH '"Berkeley DB" NEAR/6 open'; -- Select rows 3

4. 布尔逻辑：支持NOT，OR，AND二进制集合操作。多个单词之间“-”用于表示NOT语义，隐式支持AND，即多个单词之间若没有操作符，默认使用AND。若添加编译选项SQLITE_ENABLE_FTS3_PARENTHESIS，则显式支持AND和NOT。

SELECT * FROM docs WHERE docs MATCH 'Berkeley-database'; -- Select rows 2
SELECT * FROM docs WHERE docs MATCH 'Berkeley database'; -- None
SELECT * FROM docs WHERE docs MATCH 'Berkeley OR database'; -- Select rows 1, 2 and 3

5. Snippet：格式化查询结果中的查询条件，可自定义格式，默认用<b></b>标识单词出现的位置，提取查询结果中的所有列，最多返回64个字符。

SELECT snippet(docs) FROM docs WHERE docs MATCH 'database’;
-- <b>database</b>
Berkeley DB is the industry-leading open source embedded <b>database</b>

6. Offset：返回某个单词或多个单词在文本中出现的位置集合，每个位置由四个数字表示，分别是单词在查询中位置，所在文本的列，位移和长度。

SELECT offsets(docs) FROM docs WHERE docs MATCH 'database';
-- 0 0 0 8 1 0 2 8
-- 1 0 57 8

7. Matchinfo：返回满足条件的文本的BLOB值，该BLOB由(2 + C * P * 3)个32位无符号整型表示，其中C为FTS3表被查询的列数，P为查询的单词数目。前两个字节分别表示查询条件的词组数量和被查询的列数，此后每三个整型数表示当前文本中查询单词或词组在列中出现的位置，这三个整型数分别是当前单词是否出现在当前行的当前列，当前单词所有行的该列出现的次数，当前单词在所有行出现的次数。

SELECT quote(matchinfo(docs)) FROM docs WHERE docs MATCH 'database';
-- X'0100000002000000010000000100000001000000010000000200000002000000'
-- X'0100000002000000000000000100000001000000010000000200000002000000'

8. 分词器：可选择simple或者porter分词器，其中默认选择simple分词器，两者的差异在于porter匹配拥有相同词根的单词，例如frustrated和frustrate可以搜出相同的结果，而simple仅仅匹配单词本身。此外，可自定义一个分词器，以适应不同地区和语言的要求。

（六） 参考文档

• SQLite关于FTS3的文档，http://www.sqlite.org/fts3.html

• FTS3开发文档，http://ft3.sourceforge.net/

• BDB 11gR2 5.0 文档列表, http://www.oracle.com/technology/documentation/berkeley-db/db/index.html

• 如何在Windows编译FTS3，http://www.oracle.com/technology/documentation/berkeley-db/db/installation/build_win_sql.html#id3369820

• 如何在Linux/Unix编译FTS3，http://www.oracle.com/technology/documentation/berkeley-db/db/installation/build_unix_sql.html#id3374303

下载安装包

从官方网站下载db-5.0.21.tar.gz并解压缩获得db-5.0.21目录。

配置

cd db-5.0.21/build_unix
../dist/configure --enable-sql --enable-sql_compact

选项说明：

• --enable-sql_compact：
  • 使dbsql库(libdb_sql-5.0.so)包含db库(libdb-5.0.so)，这样libdb_sql-5.0.so就不依赖于db库，其中dbsql提供了SQL API，db库包含原有的BDB功能，这样应用程序不需要链接两个库，方便使用。编译得到的库与sqlite 3.6.22版本对应。方便使用。编译得到的库与sqlite 3.6.22版本对应。

其它常用配置选项：

• 只编译静态库：
  • 加上"--disable-shared"。
• 编译最小库：
  • 加上"--enable-smallbuild --enable-statistics"。
  • 这里的--enable-statistics是必须搭配--enable-smallbuild使用的。因为默认的smallbuild不包含dbsql所需要的statistics组件。
  • 常规编译获得的DBSQL动态库大小为2.2M，而最小方式编译得到的库大小为1.1M。话说回来，对于UNIX/Linux大多数应用来说，多个1M大小不是问题，而且smallbuild会采用Os编译器优化选项(尺寸优先)取代O3选项(速度优先)，性能会有所下降。

编译

make dbsql

对于动态编译方式，实际库文件在build_unix/.libs目录下，文件：

.libs/libdb_sql-5.0.so (动态库文件)
.libs/dbsql (交互式命令行工具)

而对于静态编译方式，库文件在build_unix/目录下，文件：

libdb_sql-5.0.a (静态库文件)
dbsql (交互式命令行工具)

如果你需要使用各种BDB工具(如db_dump, db_load等)，进一步执行编译指令make，你将能够得到BDB所提供的所有的库文件和工具，包括之前make dbsql得到的库，以及除了上述db_dump, db_load之外的其他所有BDB提供的工具，熟悉BDB的用户一定对此不陌生。

最后，如果你需要清除包括Makefile在内的所有编译文件，可执行make distclean。Makefile是由configure生成的，单纯的”make clean”不能清除这部分记录。

编译并运行范例

DBSQL的C API完全沿用SQLite的C API，这里是SQLite3 C API列表。sql/examples/目录下有多个参考范例。以下我们以C语言范例sql/examples/c/ex_sql_index.c为例：

make ex_sql_index
./ex_sql_index

程序做了以下几件事情：

• 1. 把表格university加载到数据库
• 2. 打印以下SQL语句的Query Plan。我们可以看到Query Plan中的VDBE指令有32条。并且有两条向前跳转的Next指令，表示出现了两次循环迭代。

          SELECT rank, country, name
          from university
          WHERE region = 'Europe'
          ORDER BY country;

• 3. 增加关于region, country的索引
• 4. 再次打印Query Plan。我们可以看到Query Plan中的VDBE指令简化到了21条。并且只有一次向前跳转的Next指令，表示只(在索引上)出现了一次循环迭代。
• 5. 删除关于region, country的索引

以下是程序输出：

================================================================================
Load data source ../sql/examples/data/university.csv into database.
Load done.
================================================================================
STEP1. Explain a query expression
SQL:    EXPLAIN
        SELECT rank, country, name
        from university
        WHERE region = 'Europe'
        ORDER BY country;
  0     Trace   0       0       0               00      (null)
  1     OpenEphemeral   1       3       0       keyinfo(1,BINARY)       00      (null)
  2     String8 0       1       0       Europe  00      (null)
  3     Goto    0       29      0               00      (null)
  4     OpenRead        0       3       0       5       00      (null)
  5     Rewind  0       18      0               00      (null)
  6     Column  0       4       2               00      (null)
  7     Ne      1       17      2       collseq(BINARY) 69      (null)
  8     Column  0       0       4               00      (null)
  9     Column  0       3       5               00      (null)
  10    Column  0       1       6               00      (null)
  11    MakeRecord      4       3       2               00      (null)
  12    Column  0       3       7               00      (null)
  13    Sequence        1       8       0               00      (null)
  14    Move    2       9       1               00      (null)
  15    MakeRecord      7       3       3               00      (null)
  16    IdxInsert       1       3       0               00      (null)
  17    Next    0       6       0               01      (null)
  18    Close   0       0       0               00      (null)
  19    OpenPseudo      2       2       3               00      (null)
  20    Sort    1       27      0               00      (null)
  21    Column  1       2       2               00      (null)
  22    Column  2       0       4               20      (null)
  23    Column  2       1       5               00      (null)
  24    Column  2       2       6               00      (null)
  25    ResultRow       4       3       0               00      (null)
  26    Next    1       21      0               00      (null)
  27    Close   2       0       0               00      (null)
  28    Halt    0       0       0               00      (null)
  29    Transaction     0       0       0               00      (null)
  30    VerifyCookie    0       5       0               00      (null)
  31    TableLock       0       3       0       university      00      (null)
  32    Goto    0       4       0               00      (null)
================================================================================
STEP2. Create an index on university(region, country)
SQL:    CREATE INDEX university_geo
        ON university (region, country);
================================================================================
STEP3. Explain the query again, we can see the difference
SQL:    EXPLAIN
        SELECT rank, country, name
        from university
        WHERE region = 'Europe'
        ORDER BY country;
  0     Trace   0       0       0               00      (null)
  1     Noop    0       0       0               00      (null)
  2     String8 0       1       0       Europe  00      (null)
  3     Goto    0       18      0               00      (null)
  4     OpenRead        0       3       0       5       00      (null)
  5     OpenRead        2       4       0       keyinfo(2,BINARY,BINARY)        00      (null)
  6     SeekGe  2       15      1       1       00      (null)
  7     IdxGE   2       15      1       1       01      (null)
  8     IdxRowid        2       2       0               00      (null)
  9     Seek    0       2       0               00      (null)
  10    Column  0       0       3               00      (null)
  11    Column  2       1       4               00      (null)
  12    Column  0       1       5               00      (null)
  13    ResultRow       3       3       0               00      (null)
  14    Next    2       7       0               00      (null)
  15    Close   0       0       0               00      (null)
  16    Close   2       0       0               00      (null)
  17    Halt    0       0       0               00      (null)
  18    Transaction     0       0       0               00      (null)
  19    VerifyCookie    0       6       0               00      (null)
  20    TableLock       0       3       0       university      00      (null)
  21    Goto    0       4       0               00      (null)
================================================================================
STEP4. Drop the index
SQL: DROP INDEX university_geo;
DONE.

使用dbsql shell

范例运行完后，我们还可以用dbsql shell来查看/操作生成的数据库文件：

build_unix$ ./dbsql ex_sql_index.db
Berkeley DB 11g Release 2, library version 11.2.5.0.21: (March 30, 2010)
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
dbsql> .tables
university
dbsql> select * from university;
1|Massachusetts Institute of Technology|mit.edu|us|North America|2|1|1|7
2|Harvard University|harvard.edu|us|North America|7|2|12|1
3|Stanford University|stanford.edu|us|North America|4|4|2|24
4|University of California Berkeley|berkeley.edu|us|North America|8|3|5|32
5|Cornell University|cornell.edu|us|North America|1|5|9|37
6|University of Wisconsin Madison|wisc.edu|us|North America|3|10|6|71
7|University of Minnesota|umn.edu|us|North America|6|15|7|22
8|California Institute of Technology|caltech.edu|us|North America|18|6|20|30
9|University of Illinois Urbana Champaign|uiuc.edu|us|North America|17|7|13|51
10|University of Michigan|umich.edu|us|North America|10|8|18|55
11|University of Texas Austin|utexas.edu|us|North America|12|11|8|44
12|University of Washington|washington.edu|us|North America|22|9|4|94
13|University of Chicago|uchicago.edu|us|North America|42|16|44|2
14|Carnegie Mellon University|cmu.edu|us|North America|5|24|3|93
15|University of Pennsylvania|upenn.edu|us|North America|16|14|33|26
16|Columbia University New York|columbia.edu|us|North America|19|12|21|95
17|Texas A&M University|tamu.edu|us|North America|31|31|11|17
18|University of Maryland|umd.edu|us|North America|37|22|17|52
19|University of California Los Angeles|ucla.edu|us|North America|13|17|26|110
20|Purdue University|purdue.edu|us|North America|14|34|14|46
21|Johns Hopkins University|jhu.edu|us|North America|59|27|49|3
22|University of Cambridge|cam.ac.uk|uk|Europe|26|13|70|86
23|Pennsylvania State University|psu.edu|us|North America|27|29|16|102
24|University of Tokyo|u-tokyo.ac.jp|jp|Asia|32|26|65|31
25|University of Arizona|arizona.edu|us|North America|20|36|19|134
dbsql> .quit

结束语

以上我们介绍了如何在UNIX/Linux环境下编译DBSQL并运行范例。在这一版本开发中，我们为新增SQL部分增加了十个范例，可作为快速参考:

1.ex_sql_load:          create table, insert, load csv files
2.ex_sql_query:         select, order by, group by, subquery, SQL function
3.ex_sql_index:         index, query explain
4.ex_sql_statment:      prepare, iterate results, callback function
5.ex_sql_transaction:   transaction, commit, rollback
6.ex_sql_savepoint:     savepoint
7.ex_sql_multi_thread:  multi-thread, transaction, lock/busy handle
8.ex_sql_binding:       prepare, variable binding, transaction, bulk insert
9.ex_sql_fts3:          full-text search features
10.ex_sql_rtree:        create, maintain, and query r-tree index

如果您有什么问题和建议，欢迎与我联系。

本文将展示如何在Ubuntu Linux x32平台上使用完整的Android源代码来编译构建我们的全新Android系统镜像，而Android源代码包中包含了交叉编译器，因此我们不需要事先安装NDK。

1. 编译Android代码

从Android官方网站获取一份Android源代码，这份源代码有2~3G之巨。

在Linux平台上，把源代码解压到$HOME/android/android_src

安装java 1.5版本，(1.6不行)，并设置JAVA_HOME和PATH:

$ export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun
$ export PATH=$JAVA_HOME/bin:$PATH

先把原始的Android代码完全编译成功(这过程可能要花2~3小时)：

$ cd $HOME/android/android_src
$ . build/envsetup.sh
$ make

可看到生成三个镜像：

Install system fs image: out/target/product/generic/system.img
Target ram disk: out/target/product/generic/ramdisk.img
Target userdata fs image: out/target/product/generic/userdata.img

2. 安装Android SDK并测试镜像

安装Android SDK: http://developer.android.com/sdk/installing.html, 安装目录：$HOME/android/android-sdk-linux_86
安装Android SDK组件: http://developer.android.com/sdk/adding-components.html,选择安装SDK Platform Android 2.1 API 7和Google APIs by Google Inc., Android API 7

用我们编译得到的镜像替换系统的默认镜像。如果需要替换Windows环境下的sdk，那么以下目录”android-sdk-linux_86″相应应该改成 “android-sdk-windows”。

$ cd $HOME/android/android-sdk-linux_86/platforms/android-2.1
$ cp -r images images.bak
$ cp $HOME/android/android_src/out/target/product/generic/*.img images

创建并运行一个新的设备:

$ cd $HOME/android/android-sdk-linux_86/tools/
$ ./android

(如图)使用图形界面工具创建一个Android 2.1的设备BDBSQL,并点击”start”启动。新的设备第一次启动的时间会非常长，这是正常现象。等到Android界面出现，就说明我们的镜像编译基本没问题了。接下来我们进一步把SQLite库替换为BDB。

3. 编译DBSQL

从http://www.oracle.com/technology/software/products/berkeley-db/index.html下载BDB 11gR2源文件(db-5.0.x.tar.gz)，然后

$ cd $HOME/android/android_src/external/sqlite/dist
$ tar zxvf db-5.0.x.tar.gz
$ cp Android.mk Android.mk.bak
$ cp db-5.0.x/build_android/Android.mk .

编辑Android.mk，默认的BDB Log和Region文件大小总和可达到十几兆，因此我们有必要修改Android.mk来减小它(可能需要为Android.mk去掉只读属性)。修改第一处LOCAL_CFLAGS如下所示(相对于默认配置，我们删除了-DSQLITE_OMIT_TRUNCATE_OPTIMIZATION，新增了-DSQLITE_DEFAULT_CACHE_SIZE=256 -DBDBSQL_MAX_LOCKS=1000 -DBDBSQL_MAX_LOCK_OBJECTS=1000)：

LOCAL_CFLAGS += -Wall -DHAVE_USLEEP=1 \
        -DSQLITE_DEFAULT_JOURNAL_SIZE_LIMIT=1048576 \
        -DSQLITE_THREADSAFE=1 -DNDEBUG=1 -DSQLITE_TEMP_STORE=3 \
        -DSQLITE_OS_UNIX=1 \
        -D_HAVE_SQLITE_CONFIG_H -DSQLITE_THREAD_OVERRIDE_LOCK=-1 \
        -DSQLITE_ENABLE_FTS3 -DSQLITE_ENABLE_FTS3_BACKWARDS -Dfdatasync=fsync \
        -DSQLITE_DEFAULT_CACHE_SIZE=256 \
        -DBDBSQL_MAX_LOCKS=1000 \
        -DBDBSQL_MAX_LOCK_OBJECTS=1000

如果确定不会在多进程间共享数据库，还可以在上述LOCAL_CFLAGS中加入”-DBDBSQL_OMIT_SHARING”，这样日志文件不会被写入文件系统，进一步节省了设备空间。

编译系统镜像中的SQLite部分:

$ cd $HOME/android/android_src
$ . build/envsetup.sh
$ make clean-libsqlite
$ mmm -B external/sqlite/dist
$ make snod

编译好了，再来一次镜像替换：

$ cp $HOME/android/android_src/out/target/product/generic/*.img $HOME/android/android-sdk-linux_86/platforms/android-2.1/images

使用图形界面工具删除先前的设备BDBSQL，重创建一个新的Android 2.1设备BDBSQL,并点击”start”启动。这里一定要创建新的设备，因为启动过的设备，其数据库文件已被SQLite生成，DBSQL无法访问。

4. 使用DBSQL

现在Android里所有应用程序的SQL存储引擎都已被替换为DBSQL了。我们使用”联系人”来试用一下我们的新设备吧，在Setting里面把Locate设置为中文简体，安装一个中文输入法(比如搜狗)，然后打开“联系人”，随便增加一条记录：

在主机上我们可以使用adb shell来查看并操作程序所生成的数据库。请留意sqlite3 shell输出的版本信息是Berkeley DB 11gR，同时shell的提示符是dbsql>，这说明我们已经把SQLite成功替换为DBSQL引擎：

$ adb shell
# cd /data/data/com.android.providers.contacts/databases/
# sqlite3 contacts2.db
Berkeley DB 11g Release 2, library version 11.2.5.0.21: (March 30, 2010)
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
dbsql> .tables
_sync_state                       status_updates
_sync_state_metadata              v1_settings
activities                        view_contacts
agg_exceptions                    view_contacts_restricted
android_metadata                  view_data
calls                             view_data_restricted
contact_entities_view             view_groups
contact_entities_view_restricted  view_raw_contacts
contacts                          view_raw_contacts_restricted
data                              view_v1_contact_methods
groups                            view_v1_extensions
mimetypes                         view_v1_group_membership
name_lookup                       view_v1_groups
nickname_lookup                   view_v1_organizations
packages                          view_v1_people
phone_lookup                      view_v1_phones
raw_contacts                      view_v1_photos
settings
dbsql> select * from contacts;
2|逍遥 李|||0|0|0|0|1|1|0nE08B4A8BFA37D4||0
dbsql> select * from data;
1||4|1|0|0|0|li|li|||||||||||||||||
2||6|2|0|0|0|66666666|1||66666666|||||||||||||||
3||6|2|0|0|0|88888888|2||88888888|||||||||||||||
4||8|2|0|0|0|蜀山|1|||||||||||||||||
5||4|2|0|0|0|逍遥 李|逍遥|李||||||||||||||||
dbsql>

5. 结束语

关于DBSQL库在Android平台上的编译和使用的介绍到这里就结束了。我们用两篇博文分别介绍了side-by-side(并存)和Drop-in(替换)这两种使用方式。在Drop-in模式下，现有的应用程序无修改就可以直接使用DBSQL引擎。

DBSQL在开发过程中始终给予Android平台高度重视，在开发过程中投入了多位资深工程师致力于将DBSQL移植到Android平台上，并将Android列为产品周期测试的主流平台。OARDC的工程师Zengfa.Dou和Stephen.Tang给予了我这个初学者极大帮助。在此一并致谢！