Sybase批量操作(BCP)的设计和实现
2007-06-06 15:08:47 来源:WEB开发网 闂傚倸鍊搁崐鎼佸磹閹间礁纾归柟闂寸绾惧綊鏌熼梻瀵割槮缁炬儳缍婇弻鐔兼⒒鐎靛壊妲紒鐐劤缂嶅﹪寮婚悢鍏尖拻閻庨潧澹婂Σ顔剧磼閻愵剙鍔ょ紓宥咃躬瀵鎮㈤崗灏栨嫽闁诲酣娼ф竟濠偽i鍓х<闁绘劦鍓欓崝銈囩磽瀹ュ拑韬€殿喖顭烽幃銏ゅ礂鐏忔牗瀚介梺璇查叄濞佳勭珶婵犲伣锝夘敊閸撗咃紲闂佽鍨庨崘锝嗗瘱闂備胶顢婂▍鏇㈠箲閸ヮ剙鐏抽柡鍐ㄧ墕缁€鍐┿亜韫囧海顦﹀ù婊堢畺閺屻劌鈹戦崱娆忓毈缂備降鍔庣划顖炲Φ閸曨垰绠抽悗锝庝簽娴犻箖姊洪棃娑欐悙閻庢矮鍗抽悰顕€宕堕澶嬫櫖濠殿噯绲剧€笛囧箲閸ヮ剙钃熼柣鏂挎憸閻熷綊鏌涢…鎴濇灈妞ゎ剙鐗嗛—鍐Χ鎼粹€茬凹缂備緡鍠楅幐鎼佹偩閻戣棄纭€闁绘劕绉靛Λ鍐春閳ь剚銇勯幒鎴濐伀鐎规挷绀侀埞鎴︽偐閹绘帩浼€缂佹儳褰炵划娆撳蓟濞戞矮娌柟瑙勫姇椤ユ繈姊洪柅鐐茶嫰婢т即鏌熼搹顐e磳闁挎繄鍋涢埞鎴犫偓锝庘偓顓涙櫊閺屽秵娼幏灞藉帯闂佹眹鍊曢幊鎰閹惧瓨濯撮柛鎾村絻閸撳崬顪冮妶鍡楃仸闁荤啿鏅涢悾鐑藉Ψ瑜夐崑鎾绘晲鎼粹剝鐏嶉梺缁樻尰濞叉﹢濡甸崟顖氱疀闂傚牊绋愮花鑲╃磽娴h棄鐓愭慨妯稿妿濡叉劙骞樼拠鑼槰闂佸啿鎼崐濠毸囬弶搴撴斀妞ゆ梻銆嬪銉︺亜椤撶偛妲婚柣锝囧厴楠炴帡骞嬮弮鈧悗濠氭⒑鐟欏嫭鍎楅柛妯衡偓鐔插徍濠电姷鏁告慨鐑藉极閸涘﹥鍙忔い鎾卞灩绾惧鏌熼崜褏甯涢柍閿嬪灦閵囧嫰骞掗崱妞惧缂傚倷绀侀ˇ閬嶅极婵犳氨宓侀柛鈩冪⊕閸婄兘鏌涘┑鍡楊伀妞ゆ梹鍔曢埞鎴︽倻閸モ晝校闂佸憡鎸婚悷锔界┍婵犲洦鍤冮柍鍝勫暟閿涙粓姊鸿ぐ鎺戜喊闁告瑥楠搁埢鎾斥堪閸喓鍘搁柣蹇曞仧绾爼宕戦幘璇茬疀濞达絽鎲¢崐顖炴⒑绾懎浜归悶娑栧劦閸┾偓妞ゆ帒鍟惃娲煛娴e湱澧柍瑙勫灴閹瑩寮堕幋鐘辨闂備礁婀辨灙闁硅姤绮庨崚鎺楀籍閸喎浠虹紓浣割儓椤曟娊鏁冮崒娑氬幈闂佸搫娲㈤崝宀勬倶閻樼粯鐓曢柟鑸妼娴滄儳鈹戦敍鍕杭闁稿﹥鐗犲畷婵嬫晝閳ь剟鈥﹂崸妤€鐒垫い鎺嶈兌缁犲墽鈧厜鍋撳┑鐘辩窔閸嬫鈹戦纭烽練婵炲拑绲垮Σ鎰板箳閹冲磭鍠撻幏鐘绘嚑閼稿灚姣愰梻鍌氬€烽懗鑸电仚濠电偛顕崗妯侯嚕椤愩倖瀚氱€瑰壊鍠栧▓銊︾節閻㈤潧校缁炬澘绉瑰鏌ュ箵閹烘繄鍞甸柣鐘烘鐏忋劌顔忛妷褉鍋撶憴鍕碍婵☆偅绻傞~蹇涙惞閸︻厾锛滃┑鈽嗗灠閹碱偊锝炲鍥╃=濞达綁顥撻崝宥夋煙缁嬪灝鏆遍柣锝囧厴楠炲鏁冮埀顒傜不婵犳碍鍋i柛銉戝啰楠囬悗瑙勬尭缁夋挳鈥旈崘顔嘉ч柛鈩兠棄宥囩磽娴e壊鍎愰柛銊ュ缁顓兼径瀣偓閿嬨亜閹哄秶顦︾€殿喖鐏濋埞鎴﹀煡閸℃浠梺鍛婎焼閸曨収娲告俊銈忕到閸燁垶宕愰崹顐e弿婵☆垳鍘ф禍楣冩倵濮樼偓瀚�

本文主要讲述了Sybase数据库批量操作(BCP)的设计和实现,以及在开发过程中的关键点,为后续开发者提供了技术基础 一、前言
在项目研发过程中,需要开发一个数据库批量操作的动态链接库(DLL),以前的实现主要是程序中直接调用bcp.exe,这种方式由应用程序创建子进程,不好控制批量操作过程,失败跟踪难度比较大,因此想利用bcp.exe调用的函数来实现操作过程。本人通过分析bcp.exe程序,得到了批量操作的DB LIBRARY API函数,再查阅API函数的资料得以实现该动态链接库。
二、实现
批量操作动态链接库只实现了一个输出函数, 应用程序通过动态加载DLL,再获取函数地址,便可调用函数实现批量操作。
输出函数定义如下:LIBBCP_API BOOL BCP_Transfer_2(const char *task, const char *step, const char *config, long *copiedrow);
在动态链接库中定义了两个类:CInteriorGlobal和CSYBBCP。CInteriorGlobal完成全局的初始化操作,CSYBBCP实现数据库的批量操作。 在调用Sybase数据库的DB LIBRARY API函数进行数据库的相关操作时,首先需要调用dbsetversion函数设置版本信息,这个函数只能调用一次,如果再次调用则会报错。而类CSYBBCP在BCP_Transfer_2函数中动态创建和释放,如果在CSYBBCP中直接调用dbsetversion会导致多次调用出错。因此需要采用一种机制让dbsetversion只能调用一次,这里使用了设计模式中的SingleTom模式,SingleTom模式就是确保实例唯一,本人利用该类仅做一次实例化操作来初始化Sybase客户端版本信息。
下面是CInteriorGlobal的定义:
class CInteriorGlobal
{
public:
static CInteriorGlobal *Instance();
private:
CInteriorGlobal();
private:
static CInteriorGlobal *_instance;
};
CInteriorGlobal的实现,在构造函数中设置版本信息:CInteriorGlobal::CInteriorGlobal()
{
dbsetversion(DBVERSION_100);
}
CInteriorGlobal *CInteriorGlobal::_instance = 0;
CInteriorGlobal * CInteriorGlobal::Instance()
{
if(0 == _instance)
_instance = new CInteriorGlobal;
return _instance;
}
为了完成批量操作,定义类CSYBBCP,具体定义如下:class CSYBBCP
{
public:
CSYBBCP();
~CSYBBCP();
BOOL DoConnect(int taskindex, int stepindex, char *server, char *database, char *username,
char *password, char *charset, char *language);
BOOL DoQuery(char *sql, char **buf, int *rowcount, int *fieldcount);
BOOL DoUpdate(char *sql, char *database = NULL);
BOOL BCP_Connect(int taskindex, int stepindex, char *server, char *database,
char *username, char *password, char *charset, char *language);
BOOL BCP_Transfer_db(char *sql, char *fldterminator, char *rowterminator, int direction,
char *datafile, char *errfile, long *copiedrow);
private:
BOOL m_isbcpout;
int m_stepindex;
int m_taskindex;
char m_viewname[MAX_STRING_NUM];
char m_database[MAX_STRING_NUM];
DBPROCESS *m_dbproc;
private:
int GetTableFieldNums(char *table);
BOOL DoDisconnect();
};
在类CSYBBCP中,主要是函数BCP_Transfer_db进行数据库大批量数据的导入和导出,要完成数据传输操作,需要如下几个步骤: // 初始化:指定表明和数据文件
if(bcp_init(m_dbproc, tablename, datafile, NULL, direction) == FAIL)
{
return FALSE;
}
// 设置批量操作的控制参数,这里设置的每批记录数
if(bcp_control(m_dbproc, BCPBATCH, (DBINT) 1000) == FAIL)
{
return FALSE;
}
// 设置列数
if(bcp_columns(m_dbproc, cCols) == FAIL)
{
return FALSE;
}
// 设置列格式
for(ii = 1; ii < cCols; ii++)
{
if(bcp_colfmt(m_dbproc, ii, SYBCHAR, 0, -1, (UINT8 *) fldterminator, _strlen(fldterminator), ii) == FAIL)
{
return FALSE;
}
}
if(bcp_colfmt(m_dbproc, ii, SYBCHAR, 0, -1, (UINT8 *) rowterminator, _strlen(rowterminator), ii) == FAIL)
{
return FALSE;
}
// 执行批量操作
while(bcp_exec(m_dbproc, & cRows) == FAIL)
{
return FALSE;
}
// 批量操作结束
retcode=bcp_done(m_dbproc);
在使用Sybase12.5客户端之前,程序未调用bcp_control函数,在执行bcp_exec函数时不是使用while,而是使用if判断,代码如下:
if(bcp_exec(m_dbproc, & cRows) == FAIL)
{
return FALSE;
}
程序能正常完成功能,当使用Sybase12.5客户端后,在执行时发现程序突然退出,异常处理也未能记录日志,后跟踪发现程序是在执行bcp_exec时退出,但是未能查出原因,咨询Sybase公司技术人员,也没能解决问题。后来在一次测试中偶然发现有时能导入数据,于是测试数据文件在什么情况下能导入,实验其临界点,多次测试后发现文件1000条记录为临界点,超过则出现问题。于是本人在程序中调用bcp_control函数,设置批量记录为1000,如果数据文件记录多于1000,则需要bcp_exec执行多次才能完成,所以采用while,而不是if,这样问题解决。 三、结束
在上面的论述中,还仅仅涉及DB LIBRARY,对于Sybase客户端编程,还有CT LIBRARY方式,目前CT已经支持导出,但不支持导入。
更多精彩
赞助商链接