- IT系の求人を探す
- 求人一覧
- データサイエンスエンジニア
- データプラットフォームエンジニア/データグループ
- リモート可 副業可
- 求人ID：72553
【データサイエンスエンジニア】データプラットフォームエンジニア/データグループ
LINEヤフー株式会社
| 年収 | 600万円～1,800万円 | 勤務地 | 東京都 |
|---|---|---|---|
| 職務内容 | 同社のサービス開発のための、大規模データ向け分散システム（Hadoop、Kafka、Flink、Trino、Druidなど）として提供する?Data Platform の開発を担当 ■業務詳細 同社では、日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。 私たちのData Platformは、代表的なものとして以下のような技術スタックを活用しています： 分散処理フレームワーク: Hadoop 分散メッセージングシステム: Kafka 分散ストリーム処理システム: Flink 分散SQLエンジン: Trino 分散データストア: Druid これらの技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。 また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム（AIプラットフォーム）も独自で構築し提供しています。 【主な業務内容】 データ収集と統合: 異なるデータソースからのデータを効率的に収集し、統合するためのETLパイプラインの設計・実装。 リアルタイムデータ処理: KafkaやFlinkを用いたリアルタイムデータ処理の最適化と運用。 スケーラビリティとパフォーマンス: ネットワークの設計やハードウェアの選定など専門チームと協業しながらスケーラブルなインフラの設計・実装、パフォーマンスの最適化。 データ品質とガバナンス: データの一貫性、正確性、完全性を確保するためのツールやプロセスの導入。 データセキュリティとプライバシー: データの暗号化、アクセス制御、コンプライアンス対応。 AI/MLの統合と運用: 機械学習プラットフォームの構築・運用、MLOpsの導入。 |
||
| 各種保険 | 健康保険 厚生年金 雇用保険 労災保険 | ||
| 休日休暇 | 慶弔休暇 年末年始 有給休暇 ｜完全週休2日制（土日）※部署により異なる｜国民の祝日｜特別有給休暇（マタニティ、子の看護、介護、法定伝染病など） | ||
会社情報
| 企業名 | LINEヤフー株式会社 |
|---|---|
| 本社所在地 | 東京都千代田区 |