whitelogo
menu

Role Overview

Data processing Engineer

データ処理エンジニアfull-timejapan
Apply

Job Description

  • 大量のデータを受け付けるデータパイプラインの構築
  • 幅広い分析ワークロードをサポートする柔軟な分析基盤の構築
  • 大規模な分散システムを分析して、パフォーマンスのボトルネック、障害ポイント、およびセキュリティホールの特定・改善

Requirement

  • Presto, Cassandra, Hadoop, BigQuery, Kafkaなどの並列分散処理基盤(MPP)の運用経験または興味
  • 業務で使うOSSのソースコードを読んで動作を理解し、必要であればPull Requestを送れるスキル
  • Rubyのコードを読み書きするスキル、または入社後数ヶ月以内にRubyを習得する意志
  • 歓迎条件のうち3つ以上当てはまる

Nice to Have

  • Presto, Cassandra, Hadoop, BigQuery, Kafkaなどの並列分散処理基盤(MPP)の運用経験
  • Hadoop、Preasto、MySQL、PostgreSQL等のアーキテクチャに関する知識
  • データ構造に対する深い知識
  • 分散システムのプロダクション運用経験
  • スケーラビリティ、パフォーマンス、スケジューリングを踏まえたスケーラブルな分散マルチノード環境の構築と運用経験
  • プロセス、メモリ、ストレージ、ネットワーク管理などのシステムアーキテクチャの深い知識
  • 今までの携わった分散システムにおける、スループットやレイテンシーにまつわるクリティカルな問題を解決してきた経験
  • クラウド環境またはオンプレにおけるインフラ構築・運用・改善経験
  • 必要となればミドルウェア開発(FluentdやEmbulk本体やそのプラグイン開発など)も行うことができるスキル
  • Javaを使った開発経験
  • 数百行規模の集計用SQLでも読み書きできるスキル
  • Ruby on Railsを用いたWebサービス開発の経験
  • 不要コードの削除、ドキュメントの整備などチームの生産性を上げるために必要と思われることは厭わずやる姿勢
  • 何度も手動作業をするぐらいなら半自動化・自動化する姿勢
  • 場当たり的な対応ではなく物事を深いところまで理解して根本対応する姿勢
  • プロジェクトのオーナーシップと強い責任感

こんな人におすすめ

  • 広く深く技術を習得したい人
  • お客様のサービスの成長と共に日々増え続ける大規模なデータを効率的に捌きたい人

Apply

Full Name*

ローマ字で記入してください

E-mail*

連絡可能なメールアドレスを記入してください

CV Upload*

800MB以下のファイルを添付してください。

Other Skills

Other Upload

その他ファイルがあれば添付してください

Repro Logo