募集要項を見る
お問い合わせ
お急ぎの方はお電話にて03-5388-7000受付時間 10:00 〜 19:00（土日祝休）

クロール・WEBスクレイピングエンジニア

応募する

仕事内容

データベース構築のためのWebクローリング業務をお任せします。

当社では、820万拠点を超える企業情報データベースを保有し、それらのデータを活用することで各業界を率いる大手企業のマーケティング支援を手がけています。この日本最大のデータベースを作るため、Webページから必要な情報を自動的に収集するためのWebスクレイピング業務を担っていただきます。

集めたデータがどのように世の中で活用されるのかを感じられます！

企画～運用まで携われる

エンジニアが所属するデータコントロール本部は、その業務のパートによりチーム分けされています。
・データベース構築・抽出　←※本求人
・データベース関連ツール「ユーソナー（uSonar）」
・法人向けスマートフォンアプリ「名刺ソナー」
・他アプリケーション連携のためのAPI
それぞれが企画・設計、実開発、運用・パフォーマンス改善を行っています。
それぞれ、おおよそ社員５名＋業務委託３名ほどで構成されています。
※配属は、あなたのご希望やスキル・経験によって決定します。

仕様書に沿ったシステムを開発するのではなく、クライアントの課題や要望などに応えるため、部署をまたいだ日々の情報共有や各種ミーティングを頻繁に行っています。経営陣との距離も近く、会社全体の案件状況などを把握しやすいのも、自社開発の当社ならではの環境と言えるでしょう。

様々なテーマのお部屋があり楽しく業務がおこなえます。

このエリアは「ローマ」。木目調の落ち着いた雰囲気です。

「uSonar」のデモンストレーションにも使用されるソナールーム。潜水艦の管制室をイメージしています。

休憩スペースとしてよく使われる和室。落ち着いた雰囲気でミーティングをすることもできます。

募集要項

開発環境

【開発言語】
TypeScript　Python　Kotlin　Go言語
PHP Ruby JavaScript SQL Python3 Rust

【フレームワーク】
Angular　Django
Vue.js　Spring Ruby on Rails .NET Framework jQuery

【クラウドプラットフォーム】
Amazon Web Service、Salesforce、Google Cloud Platform

【データベース】
MySQL Oracle DynamoDB

【開発内容タイプ】
自社製品/自社サービス、B2B、業務システム/パッケージ、スマートフォンアプリ、ASP、データベースの設計、チューニング、自然言語処理、画像処理、機械学習

【開発手法】
プロジェクトごとに選択、アジャイル

【開発支援ツール】
Git GitHub

【インフラ管理】
Docker、Amazon ECS

【AI・データ分析】
Elasticsearch

【WEBサーバ】
Apache　Nginx

【その他開発環境】
Aurora / CloudFront / CFn / CodeBuild / ALB / ECS / Lambda
Logstash / Kibana / SQS / EFS
API Gateway / DynamoDB / Cognito
S3 / Snowflake / Go lang / Kinesis Data Firehose

求める経験・スキル

【必須条件】
以下2つに当てはまる方
・HTML/CSSの知識がある方
・Pythonでの開発経験がある方

【知見をお持ちの歓迎！】
AWS、Linux(サーバー)、SQL
ネットワーク(webの仕組み)、クロール

求めるマインド: ・主体的に考え行動できる方
・仕事に対して熱意を持って取り組める方
・周囲と積極的にコミュニケーションをとり、相乗効果を生み出せる方
・学ぶことが習慣であり、常に情報収集を怠らない方

身につけることができるスキル

・Pythonを使用したクロール技術
・データを保管するためのSQLの知識
・AWS
・Linux(サーバー)
・ネットワーク(webの仕組み)

開発メンバーには、Webクローリングにおける高い専門知識を持っている外部顧問や、落合陽一さんが率いるピクシーダストテクノロジーズ株式会社出身の外部CTOなど、技術力の高いメンバーが集まっています。
社内では、エンジニア勉強会を開催することもあり、その時々の最新技術トレンドについて学びを深めています。