データ
【海外の不動産スタートアップの紹介】オフィスなどの成約事例をデータベース化するcompstak
CompStakは、商業不動産データを一元化したプラットフォームを提供しています。このプラットフォームは、タイムリーで、アナリストによってレビューされた商業リースの比較データ、売却比較データ、物件詳細を提供します。
不動産会社のためのWebオープンデータの活用方法
不動産会社がWeb上のオープンデータを活用して物件データベースを作成する方法を紹介します。
片山 幹健
11 4, 2023
不動産会社がWebのオープンデータを活用する方法を紹介します。
オープンデータとは何か
オープンデータとは、Web上に公開されているデータのことです。不動産はあまりデータがまとまっていないことが多く、不動産会社がWebのオープンデータを利用することで、物件データをはじめとしたWeb上に散らばっているデータを収集して、分析・業務効率化などが実践できます。
不動産会社にとってのオープンデータの利点
不動産会社にとって、オープンデータを活用することには以下のような利点があります。
1. 市場動向の把握: オープンデータを利用することで、不動産市場の動向や需要予測を把握しやすくなります。
2. 競合情報の収集: オープンデータを活用することで、競合他社の情報を収集し、自社の戦略に活かすことができます。
3. 顧客ニーズの把握: オープンデータを活用することで、顧客のニーズや傾向を分析し、より適切な物件を提案することができます。
4. 業務効率化: オープンデータを活用することで、物件情報の収集や整理が効率化され、業務の効率を向上させることができます。
Web上のオープンデータの収集方法
Web上のオープンデータを収集する方法は以下の通りです。
ウェブスクレイピングの利用: 不動産関連のWebサイトから必要な情報をクローリングし、オープンデータとして活用します。クローリングとは、検索エンジンなどにも使われている技術ですが、WebサイトのHTMLコードを分析し、どこに何が書かれているかを把握し、分析・分類などを行う手法です。今回のケースでは、Webサイト上に記載されている情報を読み取り、その情報が物件名なのか構造に関する情報なのかなどを分類し、それぞれの項目としてデータベースに格納していくことで物件データベースを構築します。
今回は、簡易的なオープンデータ活用の事例として、物件情報が掲載されているWebサイトから物件情報をクローリングし、スプレッドシート上にリスト作成するという流れを紹介します。
掲載されている物件情報を取得して、物件名、住所、最寄り駅、竣工年月、規模、構造、基準階面積、延床面積などを一覧にしていきます。
| 日土地西新宿ビル | 東京都新宿区西新宿6-10-1 | 東京メトロ丸ノ内線 西新宿駅 徒歩3分 東京都営大江戸線 都庁前駅 徒歩5分 山手線 新宿駅 徒歩11分 | 2002年11月 | 地上23階 地下2階 | 鉄骨造 | 272.25坪 / 900.0m2 | 11,618.4坪 / 38,408.0m2 |
| 住友不動産西新宿ビル2号館 | 東京都新宿区西新宿8-15-17 | 東京メトロ丸ノ内線 西新宿駅 徒歩3分 山手線 新宿駅 徒歩10分 | 1992年9月 | 地上7階 地下1階 | 鉄骨造 | 175.99坪 / 581.78m2 | 1,359.73坪 / 4,494.97m2 |
| 高田馬場センタービル | 東京都新宿区高田馬場1-31-18 | 山手線 高田馬場駅 徒歩3分 東京メトロ東西線 高田馬場駅 徒歩5分 西武鉄道新宿線 高田馬場駅 徒歩3分 | 1992年4月 | 地上12階 地下1階 | 鉄骨造 | 169.27坪 / 559.57m2 | 2,864.75坪 / 9,470.24m2 |
| グランファースト新宿御苑 | 東京都新宿区大京町22-1 | 東京メトロ丸ノ内線 四谷三丁目駅 徒歩5分 総武・中央緩行線 千駄ヶ谷駅 徒歩13分 | 1986年7月 | 地上8階 地下1階 | 鉄骨鉄筋コンクリート造 | 130.38坪 / 431.01m2 | 1,655.85坪 / 5,473.74m2 |
オープンデータを活用した物件データベースの作成手順
オープンデータを活用して物件データベースを作成する手順は以下の通りです。
1. データの収集: Web上のHTMLコードを分析し、必要な情報を抽出します。
クローリングする際に重要なポイントとして、対象のWebサイトのHTMLの構造がどのようになっているかを把握する必要があります。
2. データの整理: 収集したデータを整理し、物件ごとに分類します。
物件情報のページからどんなデータを収集し、どのように分類するかを決めます。例えば、物件名、住所、最寄り駅、竣工年月、規模、構造、基準階面積、延床面積やオフィスの空室情報など。
3. データの加工: 収集したデータを必要な形式に加工し、データベースに取り込みます。
そのままだと、データの書式が統一されない可能性があるので、データの書式を加工します。例えば、全角数字を半角数字に変換する、単位を削除し数値のみを表記するなど。
4. データベースの構築: 加工したデータを活用して物件データベースを構築します。
5. データの更新: 定期的にオープンデータを収集し、物件データベースを更新します。
これらの手順を踏むことで、オープンデータを活用した物件データベースを作成することができます。
なお、今回はGoogle Colabとスプレッドシートを使用する方法をご紹介します。
Google Colabは、無料でPythonというプログラミングコードの実行環境を整備できるサービスです。Googleのサービスなので、同じGoogleサービスであるスプレッドシートとの連携もしやすいです。
以下が、クローリングを行うためのPythonのサンプルコードです。指定したスプレッドシートに取得したデータを転記するようにしています。（BeautifulSoupというクローリング用のライブラリを使用しています）
import requests
from bs4 import BeautifulSoup
import time
# 認証のためのコード
from google.colab import auth
auth.authenticate_user()
import gspread
from google.auth import default
creds, _ = default()
gc = gspread.authorize(creds)
# Open a worksheet from spreadsheet with the new key
wks = gc.open_by_key('スプレッドシートのID').sheet1
# スクレイピング先のURLのベース部分を新しいURLに変更
url_base = "https://www.*********************.com/office/shinjuku_ku/"
# スクレイピングした物件詳細ページの数
scraped_pages = 0
# 現在のページ数
page_num = 1
while scraped_pages < 1000 and page_num <= 40:
# 現在のページのURLを生成
url = url_base + '?page=' + str(page_num)
# requestsを使って、webから取得
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
# 各物件詳細ページのURLを取得
link_elements = soup.select('h2.name a.property_link')
links = ["https://www.*********************.com" + a.get('href') for a in link_elements]
# 各物件詳細ページから物件情報をスクレイピング
for link in links:
# スクレイピングした物件詳細ページが1000件に達したら処理を終了
if scraped_pages >= 1000:
break
r = requests.get(link)
soup = BeautifulSoup(r.text, 'html.parser')
# 物件情報を取得
property_info_elements = soup.select('table.detailTable.overview1 tr td:nth-child(2)')
property_info = [' '.join(e.get_text().strip().split()) for e in property_info_elements]
# 募集区画の情報を取得
floor_table_elements = soup.select('div.floorTable.js_floorTable tr')
available_floors = sum(1 for e in floor_table_elements if '掲載終了' not in e.get_text())
property_info.append(available_floors)
# 想定成約賃料の情報を取得
rent_price_element = soup.select_one('div.marketprice div.block p.body span.price span.num')
if rent_price_element is not None:
rent_price = rent_price_element.get_text().strip()
property_info.append(rent_price)
# スプレッドシートに書き込み
wks.append_row(property_info)
# スクレイピングした物件詳細ページの数を増やす
scraped_pages += 1
# Webサイトに負荷をかけないように5秒間隔を空ける
time.sleep(5)
# ページ数を増やす
page_num += 1
オープンデータの活用事例と成功事例
オープンデータを活用した物件データベースの作成や分析には、以下のような事例があります。
1. 市場調査の効率化: オープンデータを活用して、不動産市場の需要動向や物件価格の分析を行い、市場調査の効率化を図る事例があります。
2. 顧客ニーズの把握: オープンデータを活用して、顧客のニーズや傾向を分析し、より適切な物件を提案する事例があります。
3. 競合情報の収集: オープンデータを活用して、競合他社の物件情報や販売戦略を収集し、自社の戦略立案に活かす事例があります。
これらの事例からもわかるように、オープンデータの活用により、不動産会社の業務効率化や競争力の向上が図られています。
直近は、オープンデータを収集して、データサービスとして提供しているスタートアップも出てきていますが、必要なデータは各社で異なることも多く、その場合は自社でデータ収集の仕組みを構築してしまった方が良い場合もあります。不動産DXの施策の一つとして、オープンデータを活用した自社独自の物件データベースの構築を検討してみてはいかがでしょうか？
不動産DXに関するご相談などもお気軽にどうぞ。