最近,因为在为客户讲述使用数据库集群的相关内容,研究市面上的有关技术和产品,以及MSSQL 自带的技术,接下来几篇就为大家说说之前研究的一些结果,同时也发布一些整理的资料。
不少公司推出了针对数据库的“集群”解决方案,下面我们就简要的介绍一下他们的一些实现的原理。
基于串行复制技术
串行复制技术,本来是用于数据复制和数据备份的,离人们熟悉的“数据库集群”的概念有一定的距离。但是由于计算机软硬件技术和网络通讯技术的快速发展,使得利用这种概念和技术构成的“数据库集群”有了一定的可行性。此类集群,又可以分两类:
1.串行异步复
此种方式是异步串行复制或日志拷贝(Log Shipping)。主数据库完成事务处理后,生成事务处理日志,日志记录通过FIFO 队列,进入备份数据库处理,从而得到备份数据。此种方式的缺陷在于:
a. 复制队列溢出问题:主数据库是并行处理而日志拷贝是串行的,因此备份数据库处理日志记录也是串行的。因此,FIFO 队列的溢出随时可能发生。一旦发生,队列必须重建,从而需要重新建立备份数据库。此种方法对于一般客户来讲是不可行的。
b. 或者为了避免队列溢出,必须保证主数据库处理事务的速度小于备份数据库,这样将严重束缚主数据库的性能发挥。
c. 由于日志拷贝是异步的,主备数据库不是实时一致。因此无法用备份数据库作负荷均衡。
d. 由于主备数据库永远不一致, 主数据库一旦发生事故,就一定会丢失数据。在这种情况下,要么需要手工恢复数据库,这会消耗大量的人工成本,或者数据根本就不能恢复。
2.串行同步复制
此类集群往往是由昂贵的专用软硬件构成的,原理图如下:
此类系统采用专用的高速网络和软件技术,将每个数据库的请求,通过同步复制的方式,同步在主备两台数据库服务器上执行正确后,才将结果返回给数据库客户。
此系统的特点是:
a. 主数据库被强迫与备份数据库同步串行处理,因此性能受到限制。
b. 主备数据库中任意一个出现问题,都会迫使事务处理交易回滚,因此整个系统的可靠性比单机系统降低了一半。
c. 由于以上问题,这种备份方式只适用于近距离光纤网络(5 英里)。
d. 专用系统造价昂贵,又加上述明显缺陷,因此市场上很少被采用。
基于双机容错技术
从技术适应性的角度讲,双机容错比较适合于无状态应用,或者状态信息较少的应用切换,以此达到应用级的高可用性目的,其实并不适合于数据库级的应用切换。
此种结构往往是两个服务器共享一个磁盘阵列,这里两个服务器共享一个虚拟的IP 供数据库客户使用,形成一个单一的逻辑数据库映象。
此种所谓的数据库集群的目的是,一旦主机系统出现问题,备份系统通过心跳机制的检测,完成从主机系统到备份系统的切换,它有下列特点:
a. 此种高可用性解决方案只是无状态系统(典型的如Web 服务器)的普通容错切换思想在数据库领域的应用。
b. 此系统本身只有一个单一的数据映象,数据储存在共享的磁盘阵例上,因此共享的磁盘阵例成为了整个系统的单点错误源。
c. 由于是单一数据映象,因此必须采用通常的复制或备份方法获取第二份数据,以保证数据的安全性。因此所有复制或备份方法的缺点,此类系统全部存在。
d. 主机系统和备份系统之间是没有任何负载均衡关系的,在正常情况下,备份系统是闲置在那里,因此对用户来说是一种投资浪费。
e. 在错误切换的时候,往往存在切换时间长,而且更严重的是存在丢失用户交易数据丢失的现象,结果导致系统被迫停止服务,或者需要人工修复数据,或者数据永远找不回来。
f. 在错误切换的时候,有时候会发生备份系统的数据库启动不了的情况,这时候,整个数据库系统也就无法访问了,这与双机方案本身是高可用性方案的宗旨是相抵触的。
RAC 的英文全称是:Real Application Cluster(真正的应用级集群)。我们需要关注的是“应用级”。为了缓解数据库系统日益增长的性能压力,ORACLE 公司推出了RAC系统。它基本结构如下:
常用ODBC连接字符串
http://www.carlprothman.net/Technology/ConnectionStrings/ODBCDSNLess/tabid/90/Default.aspx
- ODBC Driver for Access
For Standard Security:
oConn.Open "Driver={Microsoft Access Driver (*.mdb)};" & _"Dbq=c:\somepath\mydb.mdb;"
If you are using a Workgroup (System database):
oConn.Open "Driver={Microsoft Access Driver (*.mdb)};" & _"Dbq=c:\somepath\mydb.mdb;" & _
"SystemDB=c:\somepath\mydb.mdw;", _
"myUsername", "myPassword"
If want to open up the MDB exclusively
oConn.Open "Driver={Microsoft Access Driver (*.mdb)};" & _"Dbq=c:\somepath\mydb.mdb;" & _
"Exclusive=1;"
If MDB is located on a Network Share
oConn.Open "Driver={Microsoft Access Driver (*.mdb)};" & _"Dbq=\\myServer\myShare\myPath\myDb.mdb;"
If MDB is located on a remote machine
- Call an XML Web Service that contains data access web methods for MDB
- Or upgrade to SQL Server and use an IP connection string
If you don't know the path to the MDB (using ASP)
<% ' ASP server-side codeoConn.Open "Driver={Microsoft Access Driver (*.mdb)};" & _
"Dbq=" & Server.MapPath(".") & "\db\myDb.mdb;"
%>
Make sure the Web identity has read/write permissions to the directory
the MDB is located in. e.g. "db" would need the read/write permissions.
If you don't know the path to the MDB (using VB)
oConn.Open "Driver={Microsoft Access Driver (*.mdb)};" & _"Dbq=" & App.Path & "\myDb.mdb;" This assumes the MDB is in the same directory where the application is running.
For more information, see: Microsoft Access Driver Programming Considerations
To view Microsoft KB articles related to Microsoft Access Driver, click here
- ODBC Driver for AS/400 (from IBM)
"System=myAS400;" & _
"Uid=myUsername;" & _
"Pwd=myPassword"
For more information, see: A Fast Path to AS/400 Client/Server
- ODBC Driver for dBASE
"DriverID=277;" & _
"Dbq=c:\somepath"
Then specify the filename in the SQL statement:
oRs.Open "Select * From user.dbf", oConn, , ,adCmdTextNote: MDAC 2.1 (or greater) requires the Borland Database Engine (BDE) to update dBase DBF files. (Q238431).
For more information, see: dBASE Driver Programming Considerations
To view Microsoft KB articles related to Microsoft dBASE Driver, click here
- ODBC Driver for Excel
"DriverId=790;" & _
"Dbq=c:\somepath\mySpreadsheet.xls;" & _
"DefaultDir=c:\somepath"
For more information, see: Microsoft Excel Driver Programming Considerations
To view Microsoft KB articles related to Microsoft Excel Driver, click here
- ODBC Driver for Informix
If using INFORMIX 3.30 ODBC Driver
oConn.Open "Dsn='';" & _"Driver={INFORMIX 3.30 32 BIT};" & _
"Host=myHostname;" & _
"Server=myServerName;" & _
"Service=myServiceName;" & _
"Protocol=olsoctcp;" & _
"Database=myDbName;" & _
"UID=myUsername;" & _
"PWD=myPassword" & _
' OroConn.Open "Dsn=myDsn;" & _
"Host=myHostname;" & _
"Server=myServerName;" & _
"Service=myServiceName;" & _
"Protocol=onsoctcp;" & _
"Database=myDbName;" & _
"Uid=myUsername;" & _
"Pwd=myPassword"
If using INFORMIX-CLI 2.5 ODBC Driver
oConn.Open "Driver={Informix-CLI 2.5 (32 Bit)};" & _"Server=myServerName;" & _
"Database=myDbName;" & _
"Uid=myUsername;" & _
"Pwd=myPassword" & _
For more information, see: Informix Developer Zone, Connection to ODBC Data Source,
- ODBC Driver for Interbase - from Easysoft
For the local machine
oConn.Open "Driver={Easysoft IB6 ODBC};" & _"Server=localhost;" & _
"Database=localhost:C:\Home\Data\Mydb.gdb;" & _
"Uid=myUsername;" & _
"Pwd=myPassword"
For a remote machine
oConn.Open "Driver={Easysoft IB6 ODBC};" & _"Server=myMachineName;" & _
"Database=myMachineName:C:\Home\Data\Mydb.gdb;" & _
"Uid=myUsername;" & _
一个好用的ODBC数据库类CMYODBC
一、引言
感觉MFC的CRecordset类不是很好用,因为我们要想使用的话必须为每个查询从CRecordset类派生出一个新类,或者进行动态数据交换。在VC知识库第六期上面有一篇介绍"单独使用CRecordset"文章,可是上面的CRecordset打开方式只能使用CRecordset::forwardOnly,游标只能向前滚动,而且用这种方式,你根本无法从打开的记录集中获得本次查询得到了有多少列。有一次在应用的时候,我只好通过捕获CRecordset::GetFieldValue()的异常来得到查询的结果有多少列。为了使用的方便,我自己写了一个数据库类CMYODBC,它是用ODBC API写的,它支持各种sql语句,支持事务处理。它最好的地方在于,对于查询的记录集实现了动态绑定,这是通过类CODBCSet来实现的。要说明的是,这两个类可以说比较简单,两个类的代码量很少,所以建议感兴趣的朋友看一下它的代码,下图是本代码运行效果图:
二、原理
其实无论是使用ODBC API还是使用ORACLE的OCI(对于ORACLE的OCI感兴趣的朋友,欢迎一起探讨,OCI的功能很强大,支持动态绑定,支持pl/sql,它的类的封装和CMYODBC很相似,用它来代替ODBC编程,可以解决ODBC的效率问题)其过程都很相似,一般分为以下几个过程:
1 初始化工作环境
2 连接数据源
3 操作数据源
4 检索结果集
5 更新结果集
6 事务处理
7 断开连接,释放各种句柄
大家都知道在使用CDatabase时候,如果要执行的是select语句的话,那么要通过CRecordset来检索结果集,而CRecordset类要我们先选择表等来先进行绑定,这样我们使用的时候很不方便,其实我们根本不需要这样做,而且我们也不需要知道这次执行的是关于那个数据库那张表的sql语句,因为在执行完SQLExecDirect()后,可以通过调用SQLNumResultCols() 、SQLColAttribute()等函数来获得执行的结果的很多属性,如这次执行的结果集是多少列、每列的字段名、列的类型等,然后根据类型可以动态分配内存,然后在用这些内存去绑定,最后能过SQLFetch()来得到结果集。在CMYODBC这个类里是通过CODBCSet类应用上面的原理来实现自动绑定的。
下面介绍一下类CMYODBC的使用方法:
源代码下载
1 通过调用ConnectDB(const char *cpServerName, const char *cpUserName, const char *cpPassword)函数来联接数据库。其中的参数意义如下:
cpServerName-----ODBC数据源名
cpUserName-------用户名
cpPassword-----口令
2 通过调用ExeSqlDirect(const char *cpSqlStmt)函数可以执行一些操作数据源的语句,如修改、删除语句等。其中的参数意义如下: cpSqlStmt------你要执行的sql语句,如delete from emp where deptno < 20
3 如果要执行事务的话,调用ExecTrans(CStringList &strSqlList)函数,其中的参数 strSqlList表示你要执行的一系列sql语句。
4 如果要执行select语句的话,通过下面的步骤:
I 声明一个CODBCSet 对象,如 CODBCSet rSet;
II然后调用函数PrepareSql(const char *cpSql, CODBCSet &rset),其中的参数的意义如下:
cpSql----代表要执行的select语句
rset-----表示一个CODBCSet的引用,你要把上面声明的对象传递进去。
III调用FetchData()函数来取得结果集。
5 通过调用函数DisConnect()断开和数据源的连接。
三、实例练习
下面就通过上面的例子一起来看一下这个类到底怎么样,为了方便,我建了一个简单的access数据库test.mdb,在这个数据库中也只有一张表emp,它有三个字段。在下面的工程的InitInstance ()中,通过代码为它自动建立了一个叫做"daliu"的ODBC数据源。
步骤一:
新建一个基于对话框的工程,命名为demo1,打开stdafx.h文件,加入#include 从例子中把MyODBC.h,MyODBC.cpp, ODBCSet.h, ODBCSet.cpp复制到这个工程的目录下,并且加入到工程中,方法是菜单project->add to project->files,选择这四个文件就可以了。复制test.mdb文件,把它加入到这个工程的debug目录下。也可以是其它的目录,只要和你的执行程序在同一个目录就可以了。
步骤二:
参照上面的对话框,在上面加入按钮和一个ClistCtrl控件,在classwizard上面关联控件的变量ClistCtrl关联m_list控件,为三个EDIT分别关联CString类型的m_strID,m_strName,m_strJob.
步骤三:
在CDemo1App::InitInstance()的最上面,加入下面的代码,实现自动ODBC数据源的增加。