2010年3月18日 星期四

Sphinx 索引建立自己會中斷

最近公司要尋求 search engine 的解決方案,同事找了一套 Sphinx 的軟體(open source SQl full-text search engine)

安裝於 FreeBSD 8.0 的系統下,安裝的過程還算順利,按照官方 Document 的步驟都沒問題。

但是在設定好 config 檔後,開始建立索引卻一直有問題,因為我們的資料總共 300 萬左右,每次建到 46 萬的時候,就會自動結束,找了很久都找不太到原因。最後想到我們 table 的 schema ,在 primary 並未使用正整數的欄位,而是使用 char 的欄位。

於是我們便將所有的資料 Copy 到另一個相同但多加了一個正整數的 primary 欄位,開始建立索引就可以完全的建完。雖然只有幾個欄位,不過 300 萬的資料,居然不到 1 分鐘就建好索引了...飛快的速度。

不過在中文字方面似乎仍有問題,後續繼續研究。

沒有留言: