Oracle Berkeley DB 中国研发团队的博客

Berkeley DB(BDB)从新发布的版本11gR2开始支持SQL。BDB在性能上的优势详见博文”Oracle Berkeley DB 支持SQL啦”以及更多关于Oracle Berkeley DB SQL的报道。本文将介绍如何在Android上开发平台上编译并运行BDB 11gR2 SQL库(以下简称DBSQL)。

本文介绍在Linux平台上如何编译得到适用于Android的DBSQL库，依本文方法编译得到的BDB库将和Android自带的SQLite库并存，我们称其为side-by-side(并存)模式。在这种模式下，Android平台上已有的应用程序还是基于原始的SQLite库，而我们自己编译的应用程序则链接到DBSQL库以获取更高的存储和并发性能。

阅读全文…

最新发布的Oracle Berkeley DB 11g Release 2（以下简称BDB 11gR2）提供了对SQL的支持。同时，BDB11gR2还支持通过JDBC驱动来访问BDB 11gR2数据库。在当前版本的BDB 11gR2，我们推荐用户使用Werner版的JDBC驱动程序：http://www.ch-werner.de/javasqlite/。下文如未明确指明，则JDBC缺省指的是Werner版的JDBC驱动程序，且本次发布是基于版本javasqlite-20090430。

本文演示了如何在Linux和Windows平台上，编译和配置BDB 11gR2 的JDBC访问。更多关于BDB 11gR2的信息，请参考BDB的官方文档。 阅读全文…

1 前言

应嵌入式平台对SQL支持的需求， 利用自身在数据存储上的优势， Oracle BerkeleyDB在最新发布的11gR2中添加了对SQL的支持，极大的增强了其在嵌入式平台上的易用性。

本文通过一个简单的例子介绍如何在Windows平台上编译（使用Microsoft Visual C++2005）并运行Oracle BerkeleyDB 11gR2提供的sql shell 。

阅读全文…

Oracle Berkeley DB将于2010年3月底发布最新版本Oracle Berkeley DB 11g release 2，具体版本号为 11.2.5.0.xx (xx代表具体的patch版本号)。

除了对原有Oracle Berkeley DB的功能进行了一定的改进和增强（比如提升了数据压缩功能、性能优化、C/C++中系统资源自动管理功能等等），本次发布的版本中最引人瞩目的变化是我们引入了一个有用的新特性——Oracle Berkeley DB SQL,简称DBSQL (纠正：将原BDBSQL纠正为DBSQL)。这是自Berkeley DB诞生20多年来第一次支持SQL接口。这无论是对开源社区，还是对嵌入式数据库行业来说，都将是一件喜事。在此也感谢整个Oracle Berkeley DB 研发团队的努力工作和大家的不断支持。

新的版本，新增的SQL接口，值得期待。 阅读全文...

Oracle Berkeley DB 11g release 2即将发布，更多的用户可能会关心其SQL接口的一些具体衡量指标，包括性能、并发性、可扩展性以及客户反馈（包括开源社区和合作伙伴等）。下面是我目前收集到的信息，希望能对大家有用。

内部测试数据（总的指标，包括Berkeley DB以及SQL）：

• 性能：
  • 约以万计(10s of thousands)的Insert/Update/Delete每秒；
  • 约以十万计(100s of thousands)的Select每秒；
  • 约比native SQLite快3倍；
  • 有些极端测试比SQLite慢，但在一个数量级别。
• 并发性
  • 细粒度的锁（Page level locking），保证了更好的并行读/写；
  • TPC-B测试显示，多线程的情形下（比单线程）快6-8倍；
  • 支持数据库运行中的进行数据压缩（database online compact）。
• 可扩展性
  • 单个数据库支持TB级别的数据量；
  • 支持多节点集群。
• 数据同步
  • 可以通过Oracle Mobile Server 10.3向企业端的大型Oracle数据库进行同步；
  • Xcsdasd 的同步客户端。
• SQL功能集
  • SQLite3 API, SQL92标准；
  • ODBC，JDBC标准；
  • 支持Full-Text Search 和R*Tree （Spatial，空间数据库）。
• 运行平台
  • Windows Mobile, 2000, XP, 7
    
  • Andriod
  • VxWorks
  • Linux, Solaris, HP/UX and virtually any *nix variant
    

注意：由于测试不具有代表性和平台环境等差异，这些指标仅供大家参考。

阅读全文…

Oracle Berkeley DB Java Edition (简称JE)从4.0开始推出了高可用(又称集群、HA)功能，从而让用户能够更容易的编写高可靠的、7×24在线的应用程序。随版本一起还发布了很多HA的示例代码。本文的主要目的是示范如何在windows平台上运行这些示例，从而帮助用户更好的理解和使用HA。

1.下载JE

用户可以到官方网址http://www.oracle.com/technology/software/products/berkeley-db/je/index.html下载最新的JE版本，本文使用的是JE 4.0.71. 同时，您也可以到http://www.oracle.com/technology/documentation/berkeley-db/je/examples/je/rep/quote/package-summary.html参考示例的详细英文文档。

2.编译示例

请确认您在编译示例之前已经安装好JDK，如果您的机器上没有安装，请到http://java.sun.com下载JDK。

用户下载示例后，解压缩到当前目录，你会发现一个je-4.0.71的目录，进入该目录，您会在lib目录下发现JE的jar包，HA的示例代码存放在examples/je/rep/quote目录下。将lib下的je-4.0.71.jar拷贝到examples/je/rep/quote下，打开命令行，进入到当前目录，输入如下命令：javac -cp .;je-4.0.71.jar *.java，该目录下的所有java文件都会被编译成class文件。

3.示例代码概述

JE-HA的示例代码分为三种：

• StockQuotes：该示例代码是一个最基本的使用JE-HA应用程序的展示，其主要目的是让您对JE-HA的基本概念有一个了解，并演示了如何使用JE-HA的API创建一个ReplicatedEnvironment和处理读写事务。
• RouterDrivenStockQuotes和HARouter：RouterDriverStockQuotes以StockQuotes为基础，展示了如何使用JE Monitor（HARouter）根据应用程序请求的类别（读或写）和结点的状态（Master或Replica），指引请求到正确的结点。该示例的目的是演示如何将负载平衡器与JE-HA结合起来，在该示例中，HARouter扮演负载平衡器的角色。
• UpdateForwardingStockQuote和SimpleRouter：UpdateForwardingStockQuote以RouterDrivenStockQuotes为基础，与HARouter不同，SimpleRouter并不关心应用程序的请求类别和结点的状态，只是简单的将请求转发给它所知道的结点，而UpdateForwardingStockQuote使用了StateChangeListener来跟踪当前的Master结点，并将写请求转发给Master，自己处理读请求。这个示例的目的是演示如何将一个负载平衡器嵌入到JE-HA的框架中。

本文主要演示如何运行前两个示例，第三个示例的运行方法与第二个基本类似，在这里就不做详细介绍了。 阅读全文…

数据可视化概述

这些年来，随着大量数据的产生，数据可视化（data visualization）广泛应用于科研、军事、金融、医疗等等领域。我们的生活也到处可见数据可视化的例子。比如，股票软件上显示的K线图，调查结果的柱状图、曲线图，人口分布的密度图等等等等。

那么，什么是数据可视化呢？根据维基百科的解释：Data visualization is the study of the visual representation of data, meaning “information which has been abstracted in some schematic form, including attributes or variables for the units of information”。简单来说，数据可视化就是用更加直观更加生动易懂的图形图像表现某种特定的数据集合。

这篇文章将简单介绍如何轻松利用BDB Java Edition （JE）和prefuse实现自己的数据可视化应用。

可视化工具和数据库的选择

首先我们选择prefuse作为数据可视化工具。prefuse是一个轻量级的用于可视化任意数据集（visualize the data）的java类库，它提供了多种数据可视化模式，比如柱状图、树图、饼图等等。它的优点是简单易用、可视化功能齐全。

但仅仅有可视化工具是不够的，还需要什么呢？当然还必须有存储数据的数据库。可以打个比方，数据是一栋房子，数据可视化就是我们要给房子做装修，让它更好看，那么数据库就是地基。没有地基，何来房子，更不用说装修了。那么，我们选择什么样的数据库呢。既然prefuse是java类库，而我们JE的特点是纯Java实现，性能高，footprint小等等，那么，JE绝对是一个很好的选择。

好了，现在就让我们看看JE + prefuse的威力吧。 阅读全文…

在Berkeley DB 4.8之前，我们可以执行的唯一的批量数据库操作是批量读取。
从Berkeley DB 4.8开始，Berkeley DB支持批量插入/更新/删除，并且用法也与批量读取相似。
批量插入/更新/删除对Berkeley DB的更新性能提升非常大，是一个值得认真学习的新功能。
本文就以一个示例程序展示批量插入和批量删除的用法。
阅读全文…

import java.io.File;
import java.util.concurrent.CountDownLatch;

import com.sleepycat.db.Environment;
import com.sleepycat.db.EnvironmentConfig;
import com.sleepycat.db.LockDetectMode;
import com.sleepycat.dbxml.XmlContainer;
import com.sleepycat.dbxml.XmlContainerConfig;
import com.sleepycat.dbxml.XmlDocument;
import com.sleepycat.dbxml.XmlDocumentConfig;
import com.sleepycat.dbxml.XmlException;
import com.sleepycat.dbxml.XmlManager;
import com.sleepycat.dbxml.XmlManagerConfig;
import com.sleepycat.dbxml.XmlQueryContext;
import com.sleepycat.dbxml.XmlResults;
import com.sleepycat.dbxml.XmlTransaction;
import com.sleepycat.dbxml.XmlUpdateContext;

public class DbxmlThreads extends Thread {

        public static XmlManager mgr = null;
        public static String containerName = "test.dbxml";
        public static Environment dbEnv = null;
        private static XmlContainer cont = null;

        static {
                EnvironmentConfig envConf = new EnvironmentConfig();
                envConf.setThreaded(true);
                envConf.setAllowCreate(true);
                envConf.setTransactional(true);
                envConf.setInitializeCache(true);
                envConf.setInitializeLocking(true);
                envConf.setInitializeLogging(true);
                envConf.setCacheSize(64 * 1024 * 1024);
                envConf.setLockDetectMode(LockDetectMode.DEFAULT);

                XmlManagerConfig xmlMgrConfig = new XmlManagerConfig();
                xmlMgrConfig.setAdoptEnvironment(true);

                File dbHome = new File(".");

                try {
                        dbEnv = new Environment(dbHome, envConf);
                        mgr = new XmlManager(dbEnv, xmlMgrConfig);

                        // 创建XmlContainer
                        if(mgr.existsContainer(containerName)!=0)
                                mgr.removeContainer(containerName);

                        XmlContainerConfig containerConf = new XmlContainerConfig();
                        containerConf.setTransactional(true);
                        containerConf.setAllowCreate(true);
                        containerConf.setContainerType(XmlContainer.NodeContainer);
                        cont = mgr.openContainer(containerName, containerConf);
                        cont.setAutoIndexing(false);
                } catch (Exception e) {
                        e.printStackTrace();
                }

        }

        private String name;
        private CountDownLatch doneSignal;

        DbxmlThreads(String name, CountDownLatch doneSignal) {
                this.name = name;
                this.doneSignal = doneSignal;
        }

        public void run() {
                XmlTransaction txn = null;
                try {
                        String content = "<"+name+">I am "+name+"";
                        for (int i = 0; i < 100; i++) {
                                XmlDocumentConfig dc = new XmlDocumentConfig();
                                dc.setGenerateName(true);
                                System.out.println(name+" insert "+i);
                                txn = mgr.createTransaction();

                                XmlDocument doc = mgr.createDocument();
                                doc.setContent(content);
                                cont.putDocument(txn, doc, dc);

                                txn.commit();
                        }
                } catch (XmlException e) {
                        System.out.println("insert error:" + e.getMessage());
                } finally {
                        doneSignal.countDown();
                }
        }

        public static void main(String[] args) throws Exception {

                CountDownLatch doneSignal = new CountDownLatch(5);
                DbxmlThreads threadA = new DbxmlThreads("A", doneSignal);
                DbxmlThreads threadB = new DbxmlThreads("B", doneSignal);
                DbxmlThreads threadC = new DbxmlThreads("C", doneSignal);
                DbxmlThreads threadD = new DbxmlThreads("D", doneSignal);
                DbxmlThreads threadE = new DbxmlThreads("E", doneSignal);

                threadA.start();
                threadB.start();
                threadC.start();
                threadD.start();
                threadE.start();

                doneSignal.await();

                XmlQueryContext qc = mgr.createQueryContext();
                String query = "collection('"+containerName+"')/A";
                XmlResults res = mgr.query(query, qc);
                System.out.println("The results size is: "+res.size());
                res.delete();
                cont.close();
                mgr.close();
        }

}

Resources

• The Berkeley DB Java Edition FAQ has useful tips and should be a first stop when trouble shooting problems.
• You can find product information, datasheets, and whitepapers on the JE home page on OTN.
• All JE release images are on the JE download page.
• The JE documentation page has Javadoc, Getting Started Guides and tutorials.
• Here is the JE License.
• Charles Lamb, a JE developer, blogs about usage tips, announcements, and developer anecdotes.
• There’s a whitepaper called Performing Queries in Oracle Berkeley DB Java Edition. The whitepaper takes common SQL queries and shows how to execute the same logic using the Direct Persistence Layer (DPL). The goal is to give users who are familiar with SQL some help in learning how to use the DPL.
• Chinese language JE blogs are available at www.bdbchina.com
• Application source code examples are included as part of the Berkeley DB JE distribution in the examples directory.