The Machines Are Coming, and They Write Really Bad Poetry

If and when the machines take over, it will not be as we dreamt it. それは、冷たく殺人的なスマートスピーカーでも、アルビノのアンドロイドでも、オーストリアのボディビルダーのような形の、金属の内骨格の上の生きた組織でもないだろう。 最終的にはチェスのようなもので我々を打ち負かすだろうことは予想できた。 そして、囲碁。 対戦型ビデオゲームでもね. しかし、それらは機械に適した冷徹で計算高い作業である。 私たちは自分に言い聞かせた 彼らはただのコンピューターだと 硬直的で合理的で無感情な存在だと 真に人間らしい機能は、常に我々のものだ。 アルゴリズムには決して真似できない、温かくてねっとりした心です。 ロボットの音はしないでしょう、なぜなら私たちと同じように聞こえるからです。 見た目も私たちと同じになるかもしれません。 精神病を患ったり、トリッピーで超現実的な夢を見たりするかもしれない。 そしていつの日か近いうちに、まともな詩を書くようになるかもしれません。

これは、エミリー・ディキンソンのスタイルで書こうとした AI による生成されたものです。 サンフランシスコに拠点を置く研究会社OpenAIのプロジェクトであるGPT-2と呼ばれる人工知能言語プログラムによって生成されたものです。 太字の部分はプログラムに与えられたプロンプトで、それ以外の部分はプログラム自身によるものです。 OpenAI は、当初、GPT-2 がスパムやフェイクニュースの増幅に役立つのではないかと懸念していましたが、最近になって GPT-2 の完全なコードを公開しました。 その結果、12月にPaper Gains Publishingから出版されたチャップブック『Transformer Poetry』は、驚くほど優れた、コミカルでナンセンスなコンピュータ生成の詩を集めた、皮肉たっぷりの作品集です。 まだ誰も人間の詩と混同することはないだろう。少なくとも、そうでないことを望むだろう。 無機物の作者がどれほど優れた存在になれるか、そしてそれによってもたらされるであろう結果について、不気味なほど見ているのです。

コンピュータのプログラムは、最近、私たち自身の心をますますモデルにしているため、よりいっそう似てきています。 スマートフォンの音声アシスタントや画像認識を使用したことがある人なら誰でも知っている、急成長中の機械学習の分野は、ニューロンに似た個々のノードが試行錯誤を通じて複雑な関連性の網を構築するために「学習」する、ニューラルネットワークの概念によって推進されています。 従来のプログラムが出力を決定するルールを与えられる代わりに、ニューラルネットは望ましい結果を与えられ、そこから何百万、何千億という試行を繰り返しながら、それを達成するための独自の方法を学んでいきます」

その訓練のために、GPT-2は、インターネットらしい自然選択方式で選ばれた800万のウェブページのコーパスを渡されました。 「OpenAIの投稿によると、「ドキュメントの品質を保つために、我々は人間によってキュレート/フィルタリングされたページのみを使用しました。特に、少なくとも3カーマを受け取ったRedditからのアウトバウンドリンクを使用しました」とあります。 試行錯誤の結果、GPT-2は、最初の数単語や文章だけで、テキストの残りの部分を予測する方法を学びました。

一見したところ、GPT-2の模倣能力は印象的で、言葉遣い、文法、構文はすべて、私たちがコンピュータに期待するものをはるかに超えている。 しかし、目を凝らすと、すぐに亀裂が生じます。 シェイクスピアの最も有名なソネットの演奏は、韻律や拍子記号を即座に窓から投げ捨てますが、私たちのほとんどは、そんなルールもほとんど覚えていません。 語り手の最愛の人と夏の日の間の隠喩も失われている。マシンは代わりに暑い天候に関係するイメージを数多く選び、その後、突然曇り空に軸足を移す。 そして、シェイクスピアの美の不朽の名声の代わりに、あまりに完璧で倒錯的な逆転劇が繰り広げられる。 あなたは美しいと言って、早くして！

他の試みは、厳密に言えば意味があるのですが、予想外の結果に向かっています。 たとえば、「通らない道」です。 フロストの原詩は、自分の選択が「すべての違いを生んだ」という自己欺瞞について書かれており、ほとんどの人は、「アメリカで最も誤読された詩」という地位にふさわしい、荒々しい象徴破壊と「あまり通らなかった」道を行くことへの賛歌としてこの詩を覚えていますが、GPT-2は、どういうわけか第三の道を見出し、間違った道を進んでしまったことに絶望し、必死に自分の足跡をたどるが、もう一方の道が閉ざされているという語り手を生み出しています。

GPT-2 には、構文の一部を取り上げてそれを実行する傾向があります。たとえば、ここでは、アンジェロウの詩の最後の節から「I will」モードをスピンオフしてそれを延々と変異させています。 それはまるでアマチュアの即興演奏のようで、AIは他に何をすべきかを考えようと失速してしまいます。 OpenAIのエンジニアリング担当副社長であるDavid Luan氏は、「繰り返しはモデル化しやすいものです」と言う。 「人間の文章には、物事を繰り返すことで成功の可能性が高まることをモデルが学習するのに十分な量の繰り返しがある傾向があります」

Luan は、これは top-k サンプリングという統計手法の結果であり、テキストが話題から逸れないように、次に考えられる言葉のプールの何割かを排除していると述べています。 しかし、ひどい誤りを避けるためのこれらの方法は、ある傾向を不条理なまでに増幅する効果もあるようです。

にもかかわらず、GPT-2 の詩心は、時にはもっと不可解に乖離し、オリジナルには存在しない一人称の語り手を作り、ソースとはほとんど関係がないが、それにしても妙に深い考えを生み出しています。 「人工文明の最後の言葉は／この言葉だ。 私たちは自由だ」。 このプログラムの詩的な感性がどうであれ、それらは完全にオリジナルでないわけではありません。

ここには共通点があります。 GPT-2 の文章は文法的に正しい。 音色だけ聞けば、多かれ少なかれ、すべて出典に忠実に聞こえる。 しかし、その配列が何を意味するのか、そこに問題があります。 GPT-2の詩は、中身よりもスタイルを重視する。

純粋な言語モデルである GPT-2 は、単語が実際に何を指すのかについての知識を持たず、単語が他の単語の隣に現れる確率だけを知っています。 このモデルにとって、「椅子」のような単語は単なる文字列であり、イメージやオブジェクトのクラスタではなく、ましてや、人間が座るものという、より漠然とした概念的なグループでもないのです。 メーカーによると、GPT-2の最も多い欠点は、この基本的な無知に起因しているという。 “繰り返しのテキスト、世界のモデリングの失敗（例えば、モデルが水中で起こる火事について書くことがある）、不自然なトピックの切り替えなど、様々な失敗モードが観察されています。” リファレンツの知識がないため、GPT-2 のプロセスは、代わりに意味のない記号論のようなもの、つまり、何も意味付けされることなく、記号だけのゲームとして機能します。 子どもたちは頻繁に言葉をコピーし、自分が何を言っているのかわからないうちに、文法的な配列でそれらを使用します。 作家の心もまた、イディオムや構文、美的に心地よい文字列の断片を吸収し、再合成する、無計画で連想的な方法で働くのです。 しかし、成熟した人間の手にかかると、これらのパターンはすべて、最終的には意味、つまり単に聞こえるだけでなく、感情や考えを伝えるという目標に固定されるのです。 7042>

これが機械と文学の間にある真のミッシング・リンクです：現実の知識、つまり人間が記述するために言語を作ったものです。 真の知性を生み出すには、物理的な存在が必要だと主張する人さえいる。 AIの時代には大きなリスクが伴うかもしれないが、少なくとも当分の間は、私たちの詩的な魂は安全だとわかっているのは嬉しいことだ。