真摯

「しんし」と打ち込むと、変換候補の先頭には紳士が来ることが多い。目当ての語は二番目か、三番目にいます。日本語入力の変換器は、辞書に持っている語の出現頻度と直前の文脈から候補を並べ替えているので、この順序はそのまま、書き言葉全体における使用頻度の差を反映していると考えていい。書き手が一語を選ぶ前に、機械のほうが先に順位をつけている。

下の字を単独で出そうとすると、事情はもっと露骨になります。この字は熟語の外でほとんど使われないため、一字だけの変換では後方に沈むか、そもそも候補に現れないことがある。文字は語の中でしか流通していない。形態素解析でも同じ問題が形を変えて出ます。解析器の辞書に二字の語として登録されていれば、形容動詞の語幹として一語に切られる。登録がなければ未知語として処理され、一字ずつ、あるいは不自然な単位に分割される。同じ文を与えても、辞書の版が違えば切れ目が変わる。

辞書に載っているかどうかは、機械の内部だけの話ではありません。この語の下の字が公的な表記の枠に入ったのは、二〇一〇年に改定された常用漢字表からです。追加する字を選ぶにあたっては、情報機器が普及して、手では書けない字も変換で打てるようになった、という事情が考慮されました。書き手が使える字の範囲を広げたのは、辞書でも教育でもなく入力方式の変化だったことになる。稀な字を含む語を選べるかどうかは、いまや変換辞書の収録状況でほぼ決まります。

頻度の低さと引き換えに、この語は共起の偏りが極端です。直後に来る名詞を思い浮かべると、対応、態度、議論、反省——数えるほどしか出てこない。言語モデルは直前の数語から次の語を予測する仕組みなので、こうした語は機械にとって非常に扱いやすい。前の語が決まれば次がほぼ決まるからです。ところが、機械にとって予測しやすいという性質は、読者にとっても予測しやすいという性質と裏表になっています。書かれる前から次が見えている表現は、たとえ稀な文字を含んでいても、新鮮には読まれない。珍しい語であることと、意外な語であることは別だという話です。

情報理論の側から見ると、低頻度であることには明確な意味がつきます。出現確率が p の事象が持つ情報量は、負の対数で定義されます。稀な事象ほど値が大きい。圧縮の実装では、この値に比例した長さの符号が割り当てられ、頻出語は短く、稀な語は長く符号化される。読者の処理も、これと同じ構造をしていると考えると腑に落ちます。目にする回数が少ない語は、意味を取り出すまでの一手間が必ずかかる。その一手間は、伝わる情報の大きさと引き換えです。

つまり、この語を使うかどうかは修辞の趣味ではなく、予算配分の問題として扱えます。稀な語は一箇所で強く働き、二度目からは効きが落ち、三度目には作者の癖として読まれる。一編にひとつ、と決めておくのは乱暴なようで理にかなっている。変換候補の二番目にいるという事実は、文章のなかでもこの語が二番目の位置にいるべきだということを、静かに示しています。