珍しい

ある出来事が起きる確率を p とすると、その出来事が起きたと知らされたときに受け取る情報の量は、確率が小さいほど大きくなります。確率一の事象、つまり必ず起きることを知らされても、情報はゼロです。日が昇ったと報告されても何も増えない。この定義を眺めていると、稀であるという判断が、情報の量を測る操作とほとんど同じ形をしていることに気づきます。ただし形が同じであることは、語の意味が確率を含んでいる証拠にはなりません。まずは形だけ並べておきます。

符号化の側にも同じ形が出てきます。ハフマン符号では、頻度の高い記号に短い符号語を、低い記号に長い符号語を割り当てて、全体の長さを縮める。人間の言語でも、よく使う語ほど短くなる傾向は古くから指摘されてきました。日本語で日常的に使われる語の多くは二拍か三拍で、専門的で出番の少ない概念ほど長い漢語やカタカナ語を背負っている。稀なものを指す語が長いのは、意味と関係のない、通信効率上の理由かもしれない。

全文検索の世界には、稀少さを直接値にする仕組みがあります。idf は、ある語が全文書のうちどれだけ少数にしか現れないかで重みを決める指標で、「の」や「する」のように全文書に現れる語はほぼ無価値になり、少数の文書にしか出ない語は、その文書を指し当てる力を持つ。ここで注意すべきなのは、idf は文書集合を指定しないと計算できないことです。稀少さは対象の属性ではなく、対象と背景集合との関係でしかない。同じ石が、河原では珍しくなく、机の上では珍しい。集合を変えれば値が変わるという性質は、この形容詞が形容詞の顔をしながら、実は二項関係を隠し持っていることを示しています。冷たいや硬いは対象だけを見れば判定できるのに、これは周囲を見ないと判定できない。

低頻度であることの代償は、処理の側にも現れます。形態素解析器は語彙を辞書として持っているので、辞書にない語に出会うと未知語として扱い、しばしば切る場所を誤ります。造語や見慣れない固有名は、二つの断片に割られたまま索引に登録され、その語で検索しても掛からない。稀であることが、情報としての価値を最大にすると同時に、届く経路を細くしてしまう。同じ性質が、価値と不便の両方を生んでいる。

ただ、日本語のこの形容詞は、低頻度だけでは説明しきれません。歓迎の色が混ざっている。早起きしたことを指してそう言われるとき、そこには非難ではなく軽い賞賛がある。いいものを見せてもらった、という礼の場面でも使われる。情報量の式にも idf の式にも符号はなく、稀であること自体は中立のはずです。計量の比喩がここではみ出す——古語のメヅラシが賞美を表すメヅと同じ語根に連なるとされることを思えば、賞賛の色のほうが先にあったとも考えられます。

実務に引き戻すと、いちばん使えるのは背景集合の話です。作品の中で一度しか使われない比喩の重みは、その作品という文書集合の内側で計算される。同じ比喩を三度使えば重みは三分の一以下に落ちる。稀少さは投入した瞬間に決まるのではなく、最後まで書き終えたときの頻度分布によって事後的に決まります。だから設計対象になるのは一つひとつの表現の派手さではなく、その表現を作品全体で何度使うか、初出をどこに置くか、のほうです。