whitelogo
menu

あらゆる視点を交え、これまでの想像を超えていく。誰もがまだ見ぬ「AI活用のベストプラクティス」への道。

Category:

People

Tag:

Mid-careerEngineerCulture
マーケターが本来やるべき高度なOne to Oneマーケティングに集中できない。 そのような状況を打開するAI活用のベストプラクティスを追い求めるチーム。それが、Repro AI Labs。一見すると高度な専門領域と感じる機械学習とリアルなビジネス現場を繋ぎ、未来の方向へ牽引する重要な役割を担っている。今回は、Repro AI Labsの活動とその裏側にあるチームワークについて詳しく伺った。

マーケターが本来取り組むべきものは何か

−現在担っている業務内容を教えてください。

Repro AI Labs(通称「ラボ」)というチームに所属し、ソフトウェアエンジニアとして機械学習や統計を用いた技術検証・フィジビリティスタディを行なっています。マーケターが Repro を使うほどにプロダクトが賢くなる機械学習システムを実現し、よりマーケターがOne to One マーケティングの企画に集中できる環境を作っていきたいと考えています。

機械学習に馴染みのない方もいるかもしれないのでお話しをすると、機械学習の使い方というのは主に2つです。1つ目は、「SHAP(分析アルゴリズムの1つ)」で行えるようなデータの概要を知るための分析。2つ目は、過去データからの将来予測。

どちらも人手でやろうとすると分析のために膨大な時間がかかってしまいますが、機械学習を活用する大きなメリットはこの分析にかかる時間を短縮することができる点にあります。

時間・工数が短縮できれば、分析結果から読み取れることを考察する時間、仮説・予測を立てる時間を生み出すことができますよね。機械学習はあくまでも答えを得るための支援をするためのもので、一度結果を見て、考えること、判断することが重要です。

−今、Reproが機械学習に注力する理由や背景を伺えますか。

私の前任にあたる方が話していた中に面白い言葉があります。

「Reproというマーケティングオートメーションツールを、オートメーションしたい」

私たちのチームの原点が、ここ。マーケターがより少ない工数でツールを運用でき、より確かなインパクトを提供できるプロダクトに育てていきたいという意思が込められているんです。

このような話が生まれる背景には、マーケターが本当にやるべきことや向き合うべきユーザーのことに集中しづらい環境があります。

Asei image2

−マーケターが置かれている環境について、詳しく伺えますか。

今、多くのマーケターが向き合っているのは、いかにして(新規獲得した)顧客に継続的に利用していただけるかという点です。例えば、ゲームアプリを想像いただけるとわかりやすいと思います。登録後に何度も訪れていただき、商品を購入いただく。定期的にログインしていただき、プレイしてもらう。そういったことが大切になるんです。

一方で、ゲームアプリを扱うマーケターが恐れているのはユーザーが利用を止めてしまうこと。サブスクリプション型サービスで言えばチャーン(解約)ですね。本来、このチャーンを防止しようと思ったら、データの収集・集計を行い、統計処理をかけ、チャーンが起因するポイントを捉える必要があります。ただ、このチャーン分析の準備これを行おうとすると膨大な時間と工数がかかるのが現実です。

これらを背景に、チャーンを防ぐために本来マーケターがやるべき「サービス価値の向上」「顧客課題と向き合う」ということに集中できない状況が生まれているんです。

−そのような状況に対して、Repro AI Labsはどのような形でアプローチしようとしているのでしょうか。

このような課題を解決するために私たちが提供しているのが、チャーン予測。この機能を活用すると、離脱しそうな傾向にあるユーザーを特定し、解約防止に最適なコミュニケーションを行うことができます。

そのほか、まだ検証レベルではありますが、CV予測機能や実行するための基盤づくりを進めています。

−Reproを含め、「分析」「予測」に着目、注力する企業が増えていますよね。ここまで「分析」の重要性について伺ってきましたが、一方で、なぜ、今、「予測」も必要とされているのでしょうか。

新たに注目された領域というよりも、予測というのは普段の業務・生活の様々な場面に隠れていたと思いますよ。

例えば、発注業務。在庫の状況や明日の天気などを見ながら、需要を考えて、仕入れる商品の種類や数を決定する業務です。この発注という業務…やっていることは予測ですよね。ある人が持ちうる情報を分析し、予測をしているわけです。こういうものって、たくさんあるじゃないですか。人事の採用業務でも、エンジニアの見積もり作成でも、そこには同じような予測というステップが隠れています。

明日のこと、未来のことについて考えるということは全ての人が何気なく行っていて、それに予測という名前をつけただけのことかな、と私は思います。

私たちRepro AI Labsでは、ここに対して機械学習や統計を用いて技術検証を行っており、その検証の結果得られるものをどのような場面で、どのようなことに活かすことができるのか…とディスカッションを重ねています。社内でも、社外でも、このトピックにおける確固たるベストプラクティスはまだ明らかになっていないので、ディスカッションにはチームメンバーの他に経営陣も交え、カスタマーサクセス、市場動向…様々な視点を取り入れながら進めています。

教えてもらうのを待つよりも、まずは自分でやってみる

−Repro AI Labsの業務では、データサイエンス領域(情報処理、人工知能、統計学等)の知識が必要とされると思います。そのような領域の知識、経験はどのように身につけてこられたのですか。

統計学をはじめとしたこの領域は、すごくシンプルにいうと「数学」なんですよね。好きになり始めたのは中学生から、特に証明に取り組み始めたころからだったと思います。いつも帰宅後は家族が実家で経営していた塾に出向くんですが、1つの図形の証明問題に3時間取り組んでいたこともありましたね(笑)今思えば試行錯誤しているつもりで同じようなことを実はやっているんですが、そこから抜け出して「解けた!」という瞬間が面白くて夢中になっていました。

高校に入学してからは、数学基礎論に興味を持ちました。数学の基礎付けを行い、数学でできることの限界を知ろうというのが数学基礎論なんですが、中でも「数学の体系の中だけで証明できるかどうかわからない問題が存在する」という不完全性定理の存在に興味を持ち、数学にできることとできないことの限界を知りたいと思いました。その理論が知りたくて学べる場所を探していたところ、「普通の数学科では学べない」と聞き、工学部へ進学。

しかし、入学してみると驚きました。工学部に入ってみると、「数学はどうでもいい」と言われたんです(苦笑)今でこそこうして笑い話にできていますが、当時は心が折れましたね。学科を変えることを考えましたが色々と難しい事情があり、周囲の理解も得られず、 「数学を一番大事にしていたのに、これからどうすればいいんだ…」 と悩みました。とはいえそれでも諦めきれず、まずは「岩波講座 現代数学への入門」という本のシリーズを買って一人で読み進めました。その後、「解析概論」も手に取りました。

学んでみると、やはり面白かったですね。数学というのは最初から完璧な学問なのではなく、人の営み、学びとともに発展してきた学問なんです。「人の数だけ数学があるんだな」と感じ、その変遷にまた新たな魅力を感じました。

Asei image3

その後、改めて数学を用いて取り組めるタイミングがきます。

−それは、どのような経緯だったのですか。

将来のことを考えると数学に独学で取り組むことに限界を感じていたのでプログラミングをやろうかなと思っていたんですが、新設の研究室に配属が決まったことが転機になりました。その研究室では人間工学の分野を扱っていて、例えば3Dディスプレイを見てもらい、視線の動きを捉え、アンケートなどで疲労感を測っていくような活動を行っていました。ここで統計が必要になり、それまで独学で身につけてきた数学の知識をアウトプットできる機会を得たんです。当時は嬉しかったですね。

しかし、その後改めて数学基礎論に取り組むために大学院に進学してわかったのが、この領域を仕事にするということがいかに難しいかということ。2歳下の後輩が自分のはるか先をいっているような人だったんですが、その後輩が「自分程度ではこの分野で食べていくことはできない」とこぼしていたんです。それを聞いて、「これは、(自分には)無理だな…」と察しましたね(苦笑)当時の自分の限界を知りました。

就職活動の時期は、友人の影響もあってアクチュアリー[※1]として就職しようとしたんですが、これも無理でした。面接会場にいたのは東大、京大の数学科の学生ばかりで、一方の僕は工学部。学部、専攻分野を周囲と比較され、当時の面接官には 「君はエンジニアだろう。お前の人生、それでいいのか」 と言われました。アクチュアリーとして働ける会社をいくつか受けましたが、やはりどこにいっても「エンジニア」としてしか見てもらえず…。結局、1社も受かりませんでした。受け止め難い現実でしたが、もう開き直るしかなかったですね(汗)

[※1]数理業務のプロフェッショナルとして、統計学などの金融工学の数理的知識や経験を駆使して生命保険商品や損害保険商品などの金融商品を設計する仕事を行います。
出典:「アクチュアリーになるには・年収・資格・難易度・全国の求人」https://jp.stanby.com/contents/detail/actually

−そこで数学を仕事に用いるチャンスは途絶えてしまったのですか。

いえ、どういう巡り合わせか、もう一度チャンスが回ってきたんです。アクチュアリーとしての就職を諦めた後ネットワークエンジニアになろうと思いトヨタグループの情報子会社に就職したんですが、ここでまた新しいきっかけがありました。

新規事業を推進する部署へ配属され、iOSで新規事業の開発にあたり、初めてプログラミング、iOSに本格的に取り組んだ時期のことです。iOSでマイクのセンサー値から騒音レベルを求めるという機能を実装する作業をした時、iOSで取れるセンサー値と高性能な騒音系のセンサー値を合わせる必要があったんです。ここで、機械学習が必要になりました。機械学習を扱うにあたり統計学などの知識・経験が必要になり、それまでやってきたことが線に繋がった気がしましたね。目に見えて動くものができるのも楽しかったし、これまでに学んできた数学とソフトウェアエンジニアリング、UI・UXデザインを総導入したアプリを開発できたことは得難い体験でした。

紆余曲折ありましたが、結局は「数学というものから離れられないんだな」と思い、数学と自分自身の目には見えない縁のようなものを感じました。

−独学時期を経てデータサイエンス領域の知識・経験を積んでこられたと思いますが、エンジニアとしての知識・経験はどのように磨かれたのですか。

その頃の社内には背中を見て学べる先輩は少なくて、特に用意された技術研修もなかったので自分から学ぶ機会を作り出していましたね。学生の頃にC言語で課題を書いたことがある程度のレベルからのスタートだったので、社外にもどんどん出ていって情報交換をしたりわからないことを聞いたりしていました。

愛知から東京に出てきて、2006年にはじまった日本最大級の開発コンテスト「Mushup Award」に参加することもよくありましたね。知り合ったエンジニアとチャットボットを作ってみたこともあったんですが、とても面白ったのを覚えています。世に出てきた技術を触って、理解して、ものにしていくプロセスが面白かった。一方で、ウェブアプリの設計やAIの使い方なども勉強になりました。

Asei image4 「見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑」という本を出版したのも社外の活動でのご縁がきっかけでしたね。PyCon JPというカンファレンスに参加した際、打ち上げの場でちょうど目の前に座っていた方が理事の方で。そうとは知らず、「機械学習の本を出したいんだよね」と話しているのを見て、色々と話をしているうちに「一緒にやりましょう」という流れに。

−数学、開発…ともに自ら学ぶ機会を作り出していることが印象的です。

(いろんな考え方があっていいと思いますが)私の場合は、基本的に興味があることは教えてもらうのを待つよりも自分で学ぶ機会を作ろうと思っています。

今振り返ると、数学を教えてもらえない、周囲の理解も得られないという工学部時代の環境で自分から学びにいくという姿勢が身についたのかもしれないですね。当時は自ら学ぶか、諦めるか、その選択肢しかなかったですから。

この姿勢は、さらにその後「まず、自分でやる」というカルチャーが根付いていたトヨタのグループ会社で過ごす中でより一層養われたように感じます。

ただ、一人でできることには限界があるとも感じているので、未知の事柄についてチームで学ぶということを今後Reproではしていきたいと思っています。自分だけ能力を高め続けてもReproとしてできることにはならず、それはつまり顧客への価値提供には繋がらないんです。

–チームとして顧客へ提供できる価値の最大化をもっとも意識しておられるんですね。

もともとReproに入社した当時にはすでに顧客のことを一生懸命考えるカスタマーサクセスが居ること、一緒に働きたいと思うようなエンジニアが在籍していることを知っていたので、そのメンバーと取り組めることへの期待もありました。

一方で、データで解決したい業務課題が出てきたりデータサイエンスをシステムに実装する際にはさまざまな理由により負債となってメンテナンスできなくなったりすることを見てきています。ここは業界としてベストプラクティスがない状況なのですが、顧客に価値を届けるサービス開発においてデータサイエンスを活用し、チームとして取り組みたいという点でも当初から考えていました。

チーム内外を巻き込み、AI活用のベストプラクティスを見つけ出す

−Reproでチーム、組織として働くにあたり意識していることはありますか。

今、Repro AI Labsは4名のチームです。因果推論・バンディット・基盤作成をメインで担当するメンバーがいて、私は基盤作成とマネジメントを行なっています。

チームのメンバーといかにして気持ちよく働くかということは真剣に考えていて、「僕が壁に向かっていたら、そこは壁です」と教えて欲しいと伝えています。というのも、僕は完璧ではないので、目の前に壁があるにもかかわらず、気が付かずにその方向に歩き出すかもしれないんです。もし他のメンバーから見て僕が壁の方に歩いているように見えたら、どれだけ経験や知識に差があろうとも遠慮せずに「そこは壁です」と教えてくれるとありがたいなと思っています。

周囲から意見をもらいやすく、話しやすい関係を作り、自分自身の思い込みで仕事を進めてしまうことを避けられるよう、こういったことを普段からメンバーへ伝えています。

Asei image5 最近では、リモートワーク下で雑談が少なくなったことでコミュニケーションを取りづらい面があるので、毎日16時からはチームメンバーで集まって雑談タイムを設けるようにしています。お菓子などを片手に気軽に話せる時間を作ると、普段の仕事のやりやすさにも繋がります。

−「思いこみで仕事を進めてしまうことを避けたい」というお話がありました。チームで仕事を行うにあたっては、非常に重要な視点かと思います。

ここに関しては、もとからそうした視点を持てていたわけではありません。今でも反省している前職時代のある経験があり、より一層意識することになりました。

当時私が所属していたチームには3人のメンバーがいて、そのうち1人は機械学習を理解している新人メンバーでした。私とその新人メンバーを比較すると、私の方が社会人歴も社歴も長かったし、開発業務の進め方も理解しているような関係性です。

初めの頃は新人メンバーから私に色々と提案してくれたり意見を出してくれたりしていたんですが、私はその度に否定から入ってしまっていました。今思えば、無意識に私の方が優位であると思い込み、せっかくの提案・意見を受け付けないようなコミュニケーションをとっていたのだと思います。

最終的に、「あなたが求めていること、考えていることが全くわからない」と言われました。僕の常識を押し付けてしまったことで辛い思いをさせてしまったと思い、とても反省している出来事です。

その経験を活かして働き方を日々見直していて、今はチームで働くこと、チームの垣根を越えたメンバーと共に働くことへのやりがいを感じています。

−具体的には、(Reproでは)どのような場面でやりがいを感じますか。

例えば、一度にいろんな観点を持ち込めるところにあると思います。 これはチーム内に限定したことではなく、チーム外のメンバーについても同様なことが言えます。先日も、具体的にその魅力を感じる場面がありました。

バンディットの検証をしていた時のことです。仮に自分がこの検証をやるとしたらどの程度かかるか見積もり、大雑把な計画を立てて取り組んでいたんですが、チームで検証を行ってみると予定よりも1ヶ月くらい早くシミュレーションを終えることができました。これはチームでさまざまな観点を持ち寄って一気に議論を進め、困難な点を早期に対策できたために実現できたことだと思います。

このようにしてスケジュールに余裕が生まれたので、生まれた時間で新たに見えた課題について調べることにしました。しかし、私たちのチームメンバーで3週間取り組んだんですが、あまり成果を残すことができませんでした。

そこでチーム外の人にも相談を持ちかけてみると、対話の中で本当に重要なことが見えてきたんです。いくつか具体的な気づきもありましたし、そもそも一番良い選択肢を選び取る精度が重要なのではなく、ABテストを行う際に当初立てていた仮説通りの結果を得られること、狙った行動をとってもらえているか分かるということがもっとも重要であると改めて気づけたんです。自分たちが行なっていることにおける「本当に重要な価値」に気づけたことが大きかったですね。

このようなことを経験していくうち、ある情報について1人だけが全てを知っている状態や1人でずっと作業が進んでしまうような状況は避け、なるべく多様な視点を織り交ぜて進めていけるように心がけるようになりました。

Asei image6

今回の例のように私たちが学びになる場合も面白いですし、一方で私たちが他部署の力になれた時もやりがいを感じますね。

−詳しく伺えますか。

もう開設してから1年くらい経つんですが、#comm-statsというチャンネルを社内slack上に設けています。ここには、社内の色々なところから質問、相談が来ます。それらに答えていると、現場の人の暗黙知と僕が理論的に知っていることが一致する瞬間があるんです。これが、とても面白いんですよ。

例えば、ABテストの設計方法について相談を持ちかけてくれた人がいて、社内向けにワークショップを行う流れになったことがありました。僕にはマーケティング分野での実戦経験はあまりないんですが理論として知っていることはあるので、実例の案件を聞いて、資料を読んで、仮に理論に従った場合のABテストの設計と、結果の解釈、顧客へレポートする内容を伝えました。

そうすると、それに対して現場で日々顧客と向き合いながら取り組んでいるメンバーが意見を出してくれます。そこにあるのは日頃の実体験からくる法則で、先程のような理論からの帰納的なアプローチではなく、経験からの演繹的なアプローチだと思います。

この2つは異なる角度からのアプローチではありますが、結局のところ同じところに結論が行き着くことがあるんです。こういった時、私たちは現場の経験に裏付け・理論を添えることができたと感じられ、やりがいを感じますね。現場の人たちも、「経験的に正しいことは知っているけど、本当に正しいのかわからなくなることがある。でも、こうして理論から理解できると一層自信を持って取り組める」と言ってくれます。

一方、ABテストにおいて組織に不足していた知識を導入することにより Repro における課題を解決できたということもありました。AB テストは2つのグループを比べて結果の善し悪しを判定する方法ですが、結果の善し悪しを判定できるためには、2つのグループを平等な条件のもとで比較する必要があります。

「平等な条件のもとでの比較」と聞くと単純そうですが、実際はそうではありません。複雑な条件に基づいてマーケティング施策を行う場合、2つのグループの平等な条件のもとでの比較においては特別な考慮が必要です。典型的な例として、画面の80%をスクロールした場合にメッセージを表示するといった施策を実行する場合、画面の80%をスクロールしたユーザー同士を比較しないと意味のない比較になってしまいます。

このことは生命科学のような評価結果が人の命を左右するような分野ではよく知られていますが、入門用の統計の書籍で触れられることはあまりありません。Repro においても顧客からの問い合わせで「数字がなにか変だ」とは分かっていたものの、何が問題なのかを表現することはごく一部のメンバーにしかできない状況でした。

私がたまたま社内の Slack を眺めていたところ、「数字がおかしい」という顧客からの問い合わせに関するやり取りを見つけました。ログを読んで問題の内容を確認したところ、平等な比較ができていないという問題だとわかったため、社内のエンジニアに対策案を共有し、解決に導くことができました。

ところが問題はここで終わりませんでした。過去にさかのぼっていくと同様な問題がいくつか見つかったほか、同様の対策が必要な機能開発がいくつもあとに控えていることが判明しました。これは社内の全開発チームが知る必要があると思い、解説のための資料を作成して、ワークショップ形式で議論しながら問題の確認と対策について話し合いました。この結果、Repro としてこの問題についての知識を深め、対策が取れるようになったと思います。

今後も現場のメンバーに話したいと思ってもらえるような働き方をしていって、お互いに協力しながらドメインや目的に応じたベストなアウトプットを追求していきたいと思っています。

Asei image7

−最後に伺います。これからさらにReproが成長していくために、必要だと感じているものはありますか。

データを使った価値提供という面では、まだまだ伸び代を感じます。「データを使う」と聞くと統計や機械学習に視点がいきがちですが、重要なのはそれだけではありません。戦略、実験デザイン、データマネジメントという重要な分野が他にもあるので、それらをバランスよく構築していく必要があるんです。

一方で、より具体的な話になるとデータを見ることによって価値を提供できる業務に普段から取り組んでいることが大切になります。私はそれができる人たちがReproにいると思って入社を決めましたし、そのような状態が継続的に実現できればReproはデータでもっと価値を提供できると思っています。

−これらの分野においてベストプラクティスを持っている会社はかなり少ない印象です。

そうですね。ほとんどいないんじゃないでしょうか。機械学習を実際に活用する際にはアルゴリズム以外のさまざまなことを考慮しなければならないと言われていて、机上検証で結果が出せてもアルゴリズムをシステムに実装できないという結末を迎えることが少なくありません。

ただ、そのベストプラクティスを私たちが見つけ出し、Reproのクライアントへ展開することができたら様々な業界、企業へ一気に展開することができますよね。それだけの影響力のある仕事だと思い、携わっています。

入社した1年前にはまだベストプラクティスめいたものがなく、ソフトウェアエンジニアリング領域では未解決問題だった機械学習。今後データが価値を生むような業務設計とそれを支えるシステム基盤の整備に取り組んでいくことで、Repro、そして業界全体を前に進めていくような役割を担っていきたいです。

そして、その先にはマーケターがより One to One マーケティングに集中できる環境と、AIによる全体最適化が達成された未来があると信じています。

企画・取材・執筆=山崎 貴大
撮影 = 賀谷 友紀

2020.11.20
Mid-careerEngineerCulture

Events

Come and meet us at the Upcoming Events!

See All Events

Previous Article

まだ、ここに無い。だから、面白い。クリエイティブな新・セールス組織立ち上げの裏側。

2020.10.20
Mid-careerSalesCulture

Next Article

Related Articles

「Reproは湘北高校みたいなもんなんですよ」 エンジニア エドワード・フォックス

2020.02.27
Mid-careerEngineerCulture
Repro Logo