全文檢索引擎入門
灰常不幸的是，關(guān)系型數(shù)據(jù)庫對全文檢索的支持沒有被標(biāo)準(zhǔn)化。不同的數(shù)據(jù)庫通過它們自己的方式來實(shí)現(xiàn)全文檢索，而且SQLAlchemy在全文檢索上也沒有提供一個好的抽象。
我們現(xiàn)在使用SQLite作為我們的數(shù)據(jù)庫，所以我們可以繞開SQLAlchemy而使用SQLite提供的工具來創(chuàng)建一個全文檢索索引。但這么做不怎么好，因?yàn)槿绻幸惶煳覀儞Q用別的數(shù)據(jù)庫，那么我們就得重寫另一個數(shù)據(jù)庫的全文檢索方法。
所以我們的方案是，我們將讓我們現(xiàn)有的數(shù)據(jù)庫處理常規(guī)數(shù)據(jù)，然后我們創(chuàng)建一個專門的數(shù)據(jù)庫來解決全文檢索。
只有很少的開源的全文檢索引擎。據(jù)我說知只有一個Whoosh提供了Flask的擴(kuò)展，它是用Python語言寫的全文檢索引擎。使用純Python引擎的優(yōu)點(diǎn)是它可以運(yùn)行在任何有Python解釋器的地方。缺點(diǎn)就是它的搜索性能沒有達(dá)到用C或者C++寫的搜索引擎那么好。在我的腦子里理想的解決方案是有一個搜索引擎，它提供了Flask的擴(kuò)展，能連接大多數(shù)數(shù)據(jù)庫，而且還要像Flask-SQLAlchemy那樣提供一個能自由使用大多數(shù)數(shù)據(jù)庫的方法，但現(xiàn)在貌似木有這樣的全文檢索引擎。Django的開發(fā)者有一個非常棒的，支持大多數(shù)全文檢索引擎的擴(kuò)展，叫django-haystack。希望有一天某個家伙能為Flask提供一個相似的擴(kuò)展。
但現(xiàn)在，我們將通過Whoosh實(shí)現(xiàn)我們自己的全文檢索。我們將使用Flask-WhooshAlchemy擴(kuò)展，該擴(kuò)展使得Whoosh數(shù)據(jù)庫和Flask-SQLAlchemy模塊結(jié)合起來。
如果你還沒在你的虛擬環(huán)境中安裝Flask-WhooshAlchemy擴(kuò)展，馬上安裝它。
Windows用戶用以下命令安裝:
其他用戶用以下命令安裝:
配置
配置Flask-WhooshAlchemy灰常簡單。我們只需要告訴擴(kuò)展全文檢索數(shù)據(jù)庫的名字即可(fileconfig.py):
WHOOSH_BASE = os.path.join(basedir, 'search.db')
修改模塊
在將Flask-WhooshAlchemy和Flask-SQLAlchemy結(jié)合起來時，我們需要在合適的模塊類(fileapp/models.py)指定哪些數(shù)據(jù)時需要被索引的：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
from app import appimport flask.ext.whooshalchemy as whooshalchemy class Post(db.Model): __searchable__ = ['body'] id = db.Column(db.Integer, primary_key = True) body = db.Column(db.String(140)) timestamp = db.Column(db.DateTime) user_id = db.Column(db.Integer, db.ForeignKey('user.id')) def __repr__(self): return '<Post %r>' % (self.text) whooshalchemy.whoosh_index(app, Post) |
這個模塊有一個新的__searchable__字段，它是一個列表，包括了所有可以被當(dāng)做搜索索引的數(shù)據(jù)庫字段。在我們的項(xiàng)目里我們只需要所有文章帖子的body字段。
在這個模塊中，我們也必須通過調(diào)用whoosh_index這個方法來初始化全文索引。
這不是一個能影響我們關(guān)系型數(shù)據(jù)庫的改變，所以我們沒必要換新的數(shù)據(jù)庫。
不幸的是所有的博客文章在添加全文檢索引擎之前就已經(jīng)存在于數(shù)據(jù)庫中了，而且沒有被索引。為了保持?jǐn)?shù)據(jù)庫和全文檢索引擎的同步，我們將在數(shù)據(jù)庫中刪除所有已經(jīng)存在的博客文章，然后重新開始。首先我們打開Python解釋器。Windows用戶為以下內(nèi)容：
其它操作系統(tǒng)用戶:
然后在Python命令提示符中刪除所有博客文章:
|
1
2
3
4
5
|
>>> from app.models import Post>>> from app import db>>> for post in Post.query.all():... db.session.delete(post)>>> db.session.commit() |
搜索
現(xiàn)在我們開始做搜索。首先，讓我們添加幾篇博客文章到數(shù)據(jù)庫。我們有兩種方法做這個事。我們可以像普通用戶一樣通過網(wǎng)頁打開應(yīng)用程序添加文章，或者直接在Python命令行里添加。
用一下方法從命令行添加：
|
1
2
3
4
5
6
7
8
9
10
11
|
>>> from app.models import User, Post>>> from app import db>>> import datetime>>> u = User.query.get(1)>>> p = Post(body='my first post', timestamp=datetime.datetime.utcnow(), author=u)>>> db.session.add(p)>>> p = Post(body='my second post', timestamp=datetime.datetime.utcnow(), author=u)>>> db.session.add(p)>>> p = Post(body='my third and last post', timestamp=datetime.datetime.utcnow(), author=u)>>> db.session.add(p)>>> db.session.commit() |
Flask-WhooshAlchemy這個擴(kuò)展非常不錯，因?yàn)樗苓B接Flask-SQLAlchemy然后自動提交。我們不需要維護(hù)全文索引，因?yàn)樗呀?jīng)很明顯的幫我們做了這件事。
現(xiàn)在我們已經(jīng)在全文索引中有了一些文章，我們可以搜搜看了：
|
1
2
3
4
5
6
|
>>> Post.query.whoosh_search('post').all()[<Post u'my second post'>, <Post u'my first post'>, <Post u'my third and last post'>]>>> Post.query.whoosh_search('second').all()[<Post u'my second post'>]>>> Post.query.whoosh_search('second OR last').all()[<Post u'my second post'>, <Post u'my third and last post'>] |
上面的例子可以看出，查詢不需要限制為一個單詞。實(shí)際上，Whoosh提供了一個漂亮又強(qiáng)大的搜索查詢語言(search query language)。
整合全文檢索到應(yīng)用程序
為了讓我們應(yīng)用程序的用戶能用上搜索功能，我們還需要增加一點(diǎn)小小的改變。
配置
就配置而言，我們僅僅需要指定最大的搜索結(jié)果返回?cái)?shù)(fileconfig.py)：
|
1
|
MAX_SEARCH_RESULTS = 50 |
搜索表單
我們需要在頁面頂部的導(dǎo)航欄中增加一個搜索框。把搜索框放到頂部是極好的，因?yàn)檫@樣所有頁面就都有搜索框了(注：所有頁面公用導(dǎo)航欄)。
首先我們增加一個搜索表單類(fileapp/forms.py)：
|
1
2
|
class SearchForm(Form): search = TextField('search', validators = [Required()]) |
然后我們需要增加一個搜索表單對象，而且要讓它對所有模板可用，這么做是因?yàn)槲覀円獙⑺阉鞅韱畏诺剿许撁娴墓餐膶?dǎo)航欄。完成這個最簡單的方法是在before_request handler上創(chuàng)建一個form，然后將它傳到Flask的全局變量g(fileapp/views.py)：
|
1
2
3
4
5
6
7
8
|
@app.before_requestdef before_request(): g.user = current_user if g.user.is_authenticated(): g.user.last_seen = datetime.utcnow() db.session.add(g.user) db.session.commit() g.search_form = SearchForm() |
然后我們添加form到我們的模板(fileapp/templates/base.html)：
|
1
2
3
4
5
6
7
8
|
<div>Microblog: <a href="{{ url_for('index') }}">Home</a> {% if g.user.is_authenticated() %} | <a href="{{ url_for('user', nickname = g.user.nickname) }}">Your Profile</a> | <form style="display: inline;" action="{{url_for('search')}}" method="post" name="search">{{g.search_form.hidden_tag()}}{{g.search_form.search(size=20)}}<input type="submit" value="Search"></form> | <a href="{{ url_for('logout') }}">Logout</a> {% endif %}</div> |
注意，我們只是當(dāng)有用戶登錄時才會顯示這個搜索框。同樣的，before_request handler只有在有用戶登錄時才會創(chuàng)建form，這是因?yàn)槲覀兊膽?yīng)用程序不會展示任何內(nèi)容給沒有經(jīng)過認(rèn)證的用戶。
搜索顯示方法(search view funciton)
上面我們已經(jīng)設(shè)置了form的action字段，它會發(fā)送所有的搜索請求到search view方法。這就是我們要執(zhí)行全文檢索查詢的地方(fileapp/views.py)：
|
1
2
3
4
5
6
|
@app.route('/search', methods = ['POST'])@login_requireddef search(): if not g.search_form.validate_on_submit(): return redirect(url_for('index')) return redirect(url_for('search_results', query = g.search_form.search.data)) |
這個方法干的事也不是很多，它只是從表單收集了搜索查詢的字段，然后把這些字段作為參數(shù)傳給查詢方法，最后重定向到另一個頁面。不在這兒直接做查詢的原因是如果一個用戶點(diǎn)擊了刷新按鈕，那么瀏覽器就會彈出“表單數(shù)據(jù)將被重新提交”的警告窗口。所以當(dāng)一個POST請求的響應(yīng)結(jié)果為重定向的時候，這種警告提示就被避免了，因?yàn)橹囟ㄏ蛑鬄g覽器的刷新按鈕將會在重定向的頁面被重新載入。
搜索結(jié)果頁面
一旦一個查詢字段被接受，form POST handler就會通過頁面重定向把它發(fā)送到search_result handler(fileapp/views.py)：
|
1
2
3
4
5
6
7
|
@app.route('/search_results/<query>')@login_requireddef search_results(query): results = Post.query.whoosh_search(query, MAX_SEARCH_RESULTS).all() return render_template('search_results.html', query = query, results = results) |
然后搜索結(jié)果顯示方法會發(fā)送這個查詢到Whoosh，參數(shù)是最大的搜索結(jié)果數(shù)目，因?yàn)槲覀儾幌氤尸F(xiàn)一個很大數(shù)目的結(jié)果頁面，所以我們只顯示前50條數(shù)據(jù)。
最后一部分需要完成的是搜索結(jié)果的模板(fileapp/templates/search_results.html)：
|
1
2
3
4
5
6
7
8
9
|
<!-- extend base layout -->{% extends "base.html" %} {% block content %}<h1>Search results for "{{query}}":</h1>{% for post in results %} {% include 'post.html' %}{% endfor %}{% endblock %} |
這兒，我們又可以重新使用我們的post.html頁面，所以我們不用擔(dān)心替換一個新的頁面或者其他格式的頁面元素，因?yàn)樗羞@些在sub-template中都是通用的方法。
后記
我們現(xiàn)在就有了一個完整的、非常重要的、也是經(jīng)常被忽視的功能，這也是任何一個優(yōu)秀的web應(yīng)用必須具備的功能。
這個時刻更新的微博客應(yīng)用（換氣中···）的源碼你可以從這里找到：
