息を詰める

全文検索の索引を作るとき、日本語には英語のような単語の切れ目がないので、まず文を分割する必要があります。形態素解析器にこの表現を渡すと、たいていは「息／を／詰める」という三つに切られます。文法的には正しい処理です。しかし切った瞬間、慣用句としてのまとまりは索引から消える。索引が覚えているのは名詞の「息」と動詞の「詰める」であって、その二つが組んだときにだけ生まれる緊張の意味ではありません。検索エンジンにとって、慣用句は存在しない単位なのです。人間の読者だけが、切られなかったものとして受け取っている。

対策のひとつが n-gram 索引です。意味を考えず、二文字ずつ機械的に切って「息を」「を詰」「詰め」「める」を登録する。語の切れ目を知らないぶん取りこぼしが減り、造語や固有名詞、方言の混じった文にも強い。代わりに、たまたま同じ二文字が並んだだけの無関係な文書も拾ってしまいます。検索の世界では、取りこぼしの少なさを再現率、余計な混入の少なさを精度と呼び、この二つは基本的に引き合う関係にあります。どちらを重く見るかは用途で決めるしかなく、万能の設定はありません。

表層の近さについても、測る道具があります。編集距離は、一方の文字列をもう一方へ変えるのに必要な挿入・削除・置換の最小回数のことです。この定義に従えば、「息を詰める」と「息を止める」は一文字の置換だけで移り合えるので距離は一。意味のほうも隣接していて、この場合は表層と意味がよく揃っています。ところが「息を抜く」も見た目はかなり近いのに、意味はほぼ正反対の側に置かれる。表層距離は意味距離を近似しない——校正ツールが素朴な文字列一致だけでは仕事にならない理由が、ここにあります。誤変換の検出は簡単でも、誤用の検出が難しいのは同じ事情です。

そこで採られている考え方が、語をその周囲の語で表すやり方です。ある表現がどんな語と一緒に現れるかを大量の文章から集め、その分布によって意味を測る。この句の近くには、視線、静止、待つ、身構える、といった語が集まります。「息を抜く」の近くには、腰を下ろす、笑う、ようやく、が集まる。二つの表現は文字としては近いのに、共起する語の集合はほとんど重なりません。人間が語感を身につける過程にも、似た手続きが含まれていると考えられています。定義を教わったから使えるようになったわけではない語のほうが、実際には多い。

この見方を書き手の側に引き取ると、指針はかなり具体的になります。この句の意味は、句そのものではなく、周囲に何を置いたかで決まる。三行前に時計の秒針を置けば待機の緊張になり、視線の描写を添えれば凝視になり、階下の足音を置けば隠密の場面になる。逆に周囲が空っぽなら、句は「緊張しています」という説明文に痩せてしまいます。同じ五文字が、前後の設計しだいで三通りの働きをする。索引が拾えない単位を読者に拾わせているのは、いつでも文脈のほうです。