AIで登場人物がリアルに感じられるか？(上)

　いつも、拙ブログでは明治期から戦前ぐらいまで落合地域とその周辺域で暮らしていた人々を紹介することが多いので、必然的にその画像はモノクロ写真が主体になる。だが、それらの写真をカラー画像としてご紹介することができたら、彼ら彼女らをより身近でリアルな存在として感じられるだろうか？　そんな実験がしたくて、今回、AIエンジンを使ってモノクロ写真のカラー化を試してみた。大昔の話ではなく、ついこの間までそのへんで暮らして仕事をしていた人たちなんだな……というような感慨をお持ちいただければ、今回の企画は成功なのだろう。
　たとえば、パリの郊外のモラン村で教会を写生する佐伯祐三Click!のモノクロ写真を、AIエンジンでカラー化するとこのようになる。(冒頭写真)　頬がかなりこけ、憔悴気味で不健康そうな佐伯祐三の横顔がよりハッキリと表現され、傍らにいる娘の彌智子Click!は、まるでついさっき撮影された現代の女の子のようにリアルだ。ただし、アジア人とヨーロッパ人の肌の色にはそれほどちがいがなく、いまだ撮影場所の推定や人種の差異までを含め、活用したAIエンジンは学習していないようだ。
　モランは、かなり乾燥した早春(1928年3月上旬で佐伯が死去する5ヶ月前)らしく枝々から葉を落とした樹木が目立ち、季節がら常緑樹の葉も色褪せて表現されている。ただし、道端の雑草まで緑のままだったかどうかは不明だ。他の写真にも登場するが、樹木や草原など緑の表現は比較的リアリティが高い。また後述するけれど、このAIは建物の表現が苦手で、おもに人物表現にチューニングされたアルゴリズムおよびエンジンなのだろう。背後の建物は、ほとんどモノクロームのままで彩色がゆきとどいていない。
　このAIエンジンの推論プロセスを想定すると、まず人物の顔を認識して肌色にカラーリングしている。ただし、佐伯祐三や彌智子、横手貞美Click!(左端)とフランス人の男の子ふたりの人種のちがいは表現できず、肌色一般として5人の人物に着色している。また、彼らの着ている洋服は、その質感やモノクロで表現された灰色の微妙な濃度やトーンの相違などを踏まえながら、当時の色彩を推定して着色している。佐伯祐三のジャケットが黒に近い灰色で、マフラーがブルーグレイだったのも、また真ん中の男の子が青っぽいブレザーを着ていたのも、おそらくAIの判断どおり事実だったのだろう。
　樹木の幹や草木の葉は、その形状から判断して周囲の季節や風景に見あう色彩をほどこしているとみられるが、先述のように道端の草は枯れて薄茶色をしていたかもしれず、大ざっぱな表現のレベルにとどまっているのかもしれない。さらに、背景にとらえられている建物は、ピントが甘いせいもありAIエンジンが色彩をうまく推定できず、お手上げだった様子が見てとれる。ただし、左側にとらえられた建物のエントランス(玄関口)に見える小屋根が、赤あるいはエンジ色だったことは認識できたようだ。



　佐伯祐三関連のモノクロ写真を、AIエンジンでもう少しカラー化してみよう。1925年(大正14)1月に撮影されたとみられる、リュ・デュ・シャトーにあった佐伯アトリエでの記念写真だ。それぞれ人物は、それらしい色彩で着色されているが、川瀬もと子Click!(左端)や佐伯、前田寛治Click!の手の色彩が中途半端のまま終わっている。また、この記念写真では川瀬もと子の顔がかなりブレているが、シミュラクラ的な判断と周囲の形状から人間の顔だと推論しているのだろう。左手前に写る岩崎雅通の足元は、靴下を履いているはずだが素肌だと判断して、肌色に塗られているのが気になる。
　背後の壁にかけられたタペストリーは、赤が基調の織物だったことがうかがえる。その認識のしかたから、赤から上部へいくにつれ紫(または青)に変化するグラデーションのデザインだったものか。この写真には、右手に佐伯が制作した画面が1点とらえられているが、モノクロで撮影された絵画をカラー化するのは、当該のAIエンジンには苦手なようだ。3Dではなく2Dに描かれた空間で、絵の具の微妙な色彩の違いや質感を認識するには、美術に特化した膨大な学習の積み重ねが不可欠だろう。
　ためしに佐伯の「下落合風景」シリーズClick!で、モノクロ画面しか残されていない作品をAIエンジンでカラー化してみたのだが、いまだお話にならないレベルの仕上がりで再現性はまったく期待できない。これはカラーで残されている、わたしがカメラで直接撮影した作品を一度モノクロ画面に変換し、改めて当該のAIエンジンでカラー化を試みても、その再現性がほとんどゼロだったことでもうかがわれる(次回ご紹介予定)。
　佐伯夫妻と前田寛治Click!が写る、同じく1925年(大正14)ごろに撮影された庭での写真では、籐椅子の色やテーブル上のフルーツとみられる色彩が認識できていない。ただし、テーブルクロスは米子夫人が好きなピンク系の色だった可能性が高く、またパリではよく着ていた米子夫人のこの着物が、薄紫の細かい柄だったことは認識しているようだ。それにしても、前田寛治の顔色が悪すぎて、まるで病人か死人のようだ。AIエンジンが肌色を決める際、どこに基準が置かれているのか、何枚もの人物写真を試してみたがよくわからない。おそらく、人の肌色に対する学習がまだまだ不十分なのだろう。
　もう1枚、1928年(昭和3)3月にモランを散歩する佐伯祐三と同行した仲間たちをとらえた写真では、佐伯のうしろを歩く米子夫人と大橋了介の両側に見えている、家々の屋根の色がおそらく実際とは異なるのではないだろうか。これは、のちのモノクロ風景写真のカラー化でも触れることだが、モランに建つ家々の屋根がまるで日本家屋の瓦のように、濃淡のある灰色ばかりだったとは思えない。また、佐伯祐三がモランで描いた作品画面を観ても、赤や青などカラフルな屋根が多かったはずなのだ。






　さて、下落合にゆかりの人たちの写真をカラー化してみよう。ドキッとするぐらいリアルなのは、いまでは山手通りの貫通で失われてしまった矢田坂Click!を上ってくる着物姿の矢田津世子Click!だ。しぶさ好みの彼女らしく、紬らしい着物に金茶のつづれ帯をしめているらしい。その刺繍柄から、刀剣の鍔をあしらった彼女お気に入りの帯だろう。吉屋信子Click!の書斎も、それらしくリアルに再現されている。ただし、壁に架けられた甲斐仁代Click!の作品とみられる花は、このような色彩ではなかったと思われる。
　アサヒグラフのカメラマンが、1927年(昭和2)3月に上落合の自宅リニューアルのため、下落合735番地にアトリエをかまえた村山知義・籌子夫妻Click!の写真も、なかなかリアルに再現されている。モノクロでは気づきにくいが、「オカズコねえちゃん」Click!の右手の表情が女性らしくていい。背後の本箱の質感もうまく表現されているが、ここでもAIエンジンは手前にある籐椅子の表現が苦手なようだ。アトリエで佐渡おけさClick!を踊る金山平三Click!は、ガラス面に写る青空までがうまく再現されたが、笠の陰になっている顔面の色彩はくすんでいる。なにかの陰になっている部分、あるいは室内でも光がゆきとどかない一画などは、AIが着色をためらうのか中途半端な色彩に終わる傾向がありそうだ。
　親友の“清子さん”が撮影した、陽光が当たる下落合の書斎机で執筆の考えごとをしている九条武子Click!のスナップも、動きのある一瞬をとらえたブレのあるハレーション気味のモノクロ写真だが、紺地の普段着とともにうまく再現されていると思う。中村彝アトリエClick!前の記念写真も、やはり籐椅子の表現が不得手のようだが、それなりに鮮明で見られる画面だ。ただし、背後に写るアトリエの色彩が判断できないのか、“保留”のような状態で全体がくすんで表現されている。そのせいか、この写真自体が昔に撮影された人着モノクロの古写真のような雰囲気になってしまい、矢田津世子のような活きいきとした鮮やかさがない。



　中井駅も近い辻山医院Click!で撮影された大田洋子Click!、辻山春子Click!、林芙美子Click!の3人は、影が多くコントラストの強い画面のせいか、色彩の再現がいまひとつうまくいっていないように見える。おそらく、フラッシュが焚かれていないせいなのだろう。フラッシュを焚いて撮影されたと思われる写真をカラー化してみると、その相違がよくわかる。たとえば、「女人藝術」Click!の会合でなにやら楽し気に発言する長谷川時雨Click!や、1929年(昭和4)にアトリエで『降誕の釈迦』を制作する陽咸二Click!は、非常にうまくカラー化できている例だろう。長谷川時雨の着物と帯の質感や、陽咸二にいたっては着ているのが紺のデニム地のオーバーオールであることも認識してカラーリングされている。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　<つづく>

◆写真：AIエンジンでカラー化を試みた写真は、すべて拙ブログで過去に掲載したもの。
★おまけ
　AIエンジンで、よく見かける写真をカラー化するとこのようになる。佐伯祐三×2葉と、前回の記事でご紹介したばかりの望月百合子Click!の大正期の写真、および下落合の御留山に通う相馬坂で撮影されたドラマClick!の広報用モノクロスチール(1973～1974年)。