ゼロからのスタート。プログラミングは「面白い」を実現するツール

上瀧 剛教授

とても面白い研究ですね！「自動運指ロボット」とはどんなものなのでしょうか。

　ギターや木管楽器といった、弦などを指で押さえることによって音を出す楽器は数多くあります。そんな楽器の練習の際、ハードルとなるのがこの指で押さえる動き、「運指」です。曲を演奏するためにはなめらかな運指が必要で、そのためには反復練習が必須。「コードが覚えられない」「手が小さくて弦を押さえられない」といった理由で挫折してしまう人も多いのが現状です。

　そんな運指を代わりにやってくれるのが「自動運指ロボット」です。例えばギターに取り付けると、フレットを押さえる指の動きをロボットが再現してくれるので、演奏者はピックで弦を弾くだけで、きれいな和音が奏でられます。運指に気を取られることなく演奏できるので、最初から楽しく練習を続けられるんです。

自動運指ロボットを取り付けたギター

プログラムに合わせてフレットを押さえる仕組み

もともとは音楽とは違う研究をされていたそうですね。

　専門は画像処理で、熊本城の石垣を修復する「石垣補修システム」などを作成していました。2014年ごろからAIブームで画像処理の研究がものすごく増えて、「僕らがやらなくても誰かがやってくれるだろう」と感じてしまうようになったんです。それなら、自分のオリジナリティが出しやすい分野をやってみようと思ったのがきっかけの一つです。

　もともと音楽は好きでした。ギターも演奏していて。いつか音楽に関わる研究ができたらいいなとは思っていました。実績はありませんでしたが、やってみようと思って、ゼロからスタートすることにしました。

「全自動」より「半自動」が面白い。
演奏体験の民主化を目指して

プログラムに合わせ、押さえる部分に色のついたバーが流れる。 バーが落ちてきたときに弦を弾いたり、息を吹き込むと楽器が演奏できる

最初から今のような形をイメージしていたんですか。

　最初はロボットだけが演奏する、完全自動のギターロボットを作ろうとしていました。でも途中で「ただロボットが弾いているのを見ているだけって、あんまり面白くないな」と思って。やっぱり、自分で演奏したいじゃないですか。弾きたくても難しい曲や初心者には難しいコード進行をロボットが助けて、人間が弾く部分は残す。半自動にしたほうが、ずっと楽しめるんじゃないかと思ったんです。

　調べてみると、半自動の装置はほとんどありませんでした。これは「いいとこ取り」だし、面白いと思って始めることにしたんです。

開発で苦労したのは？

　誰もやっていないことだったので、全部自分で作るしかありません。例えば、サックスは19個のキーのうち1個でも浮くと音が出ないほどシビアです。配置やモーターの選定など、20～30回は作り直しました。僕はサックスを吹いたことがなかったのですが、ちょうどその頃、吹奏楽部の顧問になったので、学生に教えてもらいながら、「おもちゃレベル」ではない、演奏経験者が聴いても納得できるエンジニアリングの精度を追求してきました。

　2021年ごろからスタートして、今5年くらいです。原型ができたのは最初の1～2年で、その後は壊れないようにしたり、展示会に出しても安定して動くように改良を続けたりしている感じです。

機械設計は専門ではないと聞きました。

　もともと専門はプログラミングです。中学生のころから親に怒られないように「勉強しているフリ」をしながら、独学でゲームを作っていました（笑）。当時作っていたのが「音ゲー」で、実は今の研究にも通じる部分があります。

　ロボットを作るのは初めての経験でしたが、目的を達成するために、機械工学も自分で勉強してやりました。プログラミングはあくまでもツール。やりたいことがあって、それを実現する手段として使っているだけで、必要なら自分でものを作る。このDIY（自分でやる）精神が僕のスタイルだと思います。

「楽しい」を追求していたら、誰かの役に立っていた

ヤマハとの共同研究で、アーティストともコラボされていますね。

　3年ほど前の学会でギターロボットの展示をした際、ヤマハさんが興味を持ってくださって。それで2年前から共同研究を始めました。

　2026年には渋谷で、人気ユニット「ずっと真夜中でいいのに。」とコラボしたギターの体験展示を行いました。ヤマハさんは「2ヶ月間毎日動かしても故障しない設計」を求めてくるので、ビジネスの視点は非常に勉強になります。今後はロボットが人間に合わせるアンサンブルや、ジャズのアドリブ対応など、「演奏の知能化」をさらに進めていきたいと考えています。熊本のジャズバーにロボットを持ち込んで、ドラムやピアノは人間が演奏して、ロボットが一緒に合わせてくれるような、そういう未来も楽しそうですよね。

使った方からはどんな声が聞かれましたか？

　展示会で、脳卒中などの後遺症で手が不自由になったという方から「またギターが弾けた」と喜んでいただけたのは想定外の感動でした。それまでギターを楽しんでいたのに、突然弾けなくなってしまったけれど、ロボットの力を借りてまた弾けるようになる。それはすごく価値があることだなと感じました。

　手が小さい子供や初心者もそうです。楽器の基礎練習は退屈で挫折しがちですが、これなら指使いをスキップしていきなり好きな曲を練習できる。ヤマハの方はこの研究を「演奏体験の民主化」と言っていました。これまで、楽器ってどこか選ばれた人しかできないようなイメージがあったんじゃないでしょうか。でも、半自動演奏楽器があれば、誰でもすぐに楽器演奏を楽しめるようになります。そんな世界を実現したいですね。

先生にとって、「研究」とは？

　一言で言えば「難しいけれど、楽しいこと」です。自分の「面白い」という感覚を信じて突き進んでいくと、それが結果として誰かの役に立ったり、新しい文化を作ったりすることにつながります。熊本大学には、そんな挑戦を面白がって支えてくれる環境があります。難問を楽しみ、試行錯誤の連続をワクワクしながら進める。皆さんと一緒に、そんなものづくりができる日を楽しみにしています。

自動演奏ロボット付きのサキソフォンを吹く上瀧先生。 吹奏楽部の部員から「普通に上手い。サックス経験者と思った」と言われたとか