Sphinx全文索引搜索常见的错误处理

索引或者查询时提示：ERROR: invalid token in 配置文件 line 1 col 1.：

该提示表示当前的配置文件的编码不是UTF-8（无BOM头）格式，无法正确解析，请使用编辑软件打开配置文件，另存为UTF-8（无BOM头）格式；

错误的编码格式包括：Unicode、Unicode BOM、Unicode big endian、Unicode 低位在前、UTF-8 + BOM、UTF-8 Signature、UTF-8 包含签名等；

特别注意：Windows自带的记事本(Notepad)或者写字板（WordPad）无法正确保存为所需格式，请勿使用其编辑配置文件；

 

用sphinx搜索引擎时，有时会遇到一些特殊字符，这些特殊字符可能会是sphinx致命性错误来源：

如 “$”、“^”，在sphinx搜索关键字的最前或最尾出现这样的字符时（单独使用也一样），就会导致sphinx致命的错误。例如用“$笔记本”或“笔记本^”作为关键字搜索时，就会引起类似'Query failed: index product: syntax error, unexpected '"'。

    在搜索关键字的前面和后面自动加上半角的空格符“ ”可以解决此问题，且不会影响搜索结果。

 

A：此类问题是索引写入磁盘错误导致，有多个原因。注意查看磁盘空间是否已满。另外，还可能是因为是否有多个indexer进程在进行，写入索引失败！还有个解决方法是：减少 indexer配置中 max_iosize的大小。max_iosize是sphinx最大允许的I/O操作大小，以字节为单位，用于I/O节流。比如可以设置为 524288（512KB）


1、增量索引，注意删除的问题 2、对大数据，一定要给sphinx数据目录留出大量空间，因为临时文件会占据非常大的空间

 

A:缺少libmysqlclient15.so，安装mysql-devel.如果已经存在。请使用ldconfig加载一下这个动态链接库（linux）

 

sphinx indexer有2个进程同时在运行，sphinx 的indexer不能同时使用，导致无法分配内存。并使indexer使用旧的索引文件
先了解一下sphinx的 –rotate机制：
indexer完成索引->发送SIGHUP 给searchd（同时在终端输出索引已经完成）->searchd接到中断信号->等待所有子进程退出->重命名 当前索引为旧索引为 .old
->重命名 .new 索引文件作为当前索引->尝试加载当前索引文件->如果加载失败，searchd会把.old文件回滚为当前文件，并把刚建立的新索引重命名 为 .new                             ->加载成的话：完成无缝衔接
执行 rotate开关情况下，indexer在完成索引后会首先会发送一个中断信号给searchd（并且会输出已经索引完成）。

接着 searchd会做以下事情：
1）等待所有子进程退出
2）重命名 当前索引为旧索引为 .old
3）重命名 .new 索引文件作为当前索引
4）尝试加载当前索引文件
5）如果加载失败，searchd会把.old文件回滚为当前文件，并把刚建立的新索引重命名为 .new
鉴于以上情况，很可能是开启了2个检测目录访问权限的进程。用户同时使用2个indexer且 searchd运行其下 等等
sphinx的searchd在启动时会创建一个 .spl 锁文件，并在关闭时会删除它。在indexer创建索引时如果发现有 .spl文件，则不会创建新索引，除非使用 –rotate
所以，出现这样的问题可能是 锁文件不知咋的就丢失啦，或者重建索引时没有使用 –rotate开关

原文：
http://www.sphinxsearch.com/forum/view.html?id=274
It seems that
a) the lock files were lost somehow, and
b) you ran indexer without –rotate switch.
Normally, searchd would create .spl lock files on startup (and kill them on shutdown),
and indexer would then refuse to reindex without –rotate switch.
indexers sends SIGHUP to searchd when completed (and it should print that out). searchd
then does the following:
1) waits for all children to exit
2) renames current index files to .old
3) renames .new index files to current
4) tries to load current index files
5) if something failed, it rollbacks current files from .old and new to .new
In your case I would start with double checking directory access rights, users which both
indexer and searchd run under, etc.
具体操作：
killall searchd 然后重启。重启后会自动加载重命名 sphinx.new.sp*为 sphinx.sp*
另外，出现这样的问题时，最好注意 –rotate的使用，在应用许可 的情况下，不妨直接采用 关闭searchd 再索引，然后再开启 searchd

sphinx使用api不能马上真正的更新索引，但更新后api能显示索引已经是更新了。不过使用cli端的search就不能搜索到。只有在searchd重启后才会写入磁盘文件中。切记！

查了半天，改Makefile，configure都不可靠。最后在官站上查到：
./configure –without-iconv，就好了。NND，那干嘛还要这个iconv嘛。
看出错代码里，是在xmlunknowencode时才用到。我们都用utf-8，很多时候可能压根用不着这个功能！如若需要的话，可以加上这个lib

 

SELECT * FROM documents WHERE id IN (3,5,7) ORDER BY FIELD(id,3,5,7)；
或
SELECT * FROM documents WHERE id IN (3,5,7) ORDER BY substring_index((id,3,5,7),id,1)

 

A、增大mem_limit的值

$sphinx->SetSortMode(SPH_SORT_EXTENDED,’status DESC,is_deleted DESC’); //组内排序 setGroupBy排序的话，分成组间排序和组内排序，比如：（317，1，hello）,(317,0,world)。如果组内排序的话，需先使用SetSortMode(),进行自然排序，然后 使用group排序，这样在组间排序和组内排序都成自然状态了！

这是sphinx 客户端找不到searchd守护进程。具体可能是索引的锁文件了 (***.spl)丢失，  这个文件通常是用来标识searchd是否开启。
通常客户端也会返回“zero-sized searchd response”。  解决办法：  重启searchd即可    作者的话：  It seems that a) the lock files were lost somehow, and b) you ran indexer without --rotate switch.  http://www.sphinxsearch.com/forum/view.html?id=247

A：编辑：
./src/MakeFile文件
将
LIBS = -lm -lexpat -L/usr/local/lib
改成
LIBS = -lm -lexpat -liconv -L/usr/local/lib

具体配置是index allindex
{
type                            = distributed
local                           =usertest1stemmed
local                           =testidx
agent                           = localhost:3306:agentdata1,agentdata2
agent_connect_timeout           = 1000
agent_query_timeout             = 3000
}
A：这里是sphinx在解析localhost的时候不能正确指向127.0.0.1 ，所以更改一下配置中的localhost即可。即：


agent                           = 127.0.0.1:3306:agentdata1,agentdata2