[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

剛過了端午節，又期待中秋節的到來了嗎？再加上疫情解封，日圓跌至新低。如果能在中秋節時去日本賞月和購物，那不是相當令人期待嗎！

但即使日圓再怎麼跌，機票費用仍佔了一大部分。如果能有效節省機票費用，相信旅程一定能更加愉快。

那麼，怎麼知道現在的機票是最便宜的呢？除了人工查找外，最好的方法是使用Python網路爬蟲。

但是，編寫網路爬蟲需要很多功夫。這時候，可以讓ChatGPT + LangChain 來幫助你編寫一個通用的網路爬蟲 。

因此，在本教學中，我們將教你：

1. 如何使用Selenium自動瀏覽Expedia(https://www.expedia.com.tw/)網站

2. 如何使用LangChain + ChatGPT的Extraction(https://python.langchain.com/docs/modules/chains/additional/extraction)功能，自動根據Schema解析出半結構化資料

3. 最後，使用Pandas將半結構化資料轉換為結構化資訊

ChatGPT的幫助可以省去以前需要觀察元素的功夫。再加上Selenium可以像人一樣開啟任何網頁，我們便可以大大簡化編寫網路爬蟲的過程，抓取任何想要的頁面摟！

影片：
https://largitdata.com/course/226/

程式碼：
https://github.com/ywchiu/largitdata/blob/master/code/Course_226.ipynb

給資料科學家的Python基礎課：
https://www.youtube.com/watch?v=uzInb5gbl4M

大數學堂 – 學習資料科學的第一站：
https://www.youtube.com/channel/UCSmvtvsTjqkvKLqpmsFWRQw

Expedia:
https://www.expedia.com.tw/

Chromedriver:
https://chromedriver.chromium.org/downloads

LangChain Extraction:
https://python.langchain.com/docs/modules/chains/additional/extraction

OpenAI API:
https://platform.openai.com/

#大數軟體
#大數學堂
#python網路爬蟲
#chatgpt
#langchain
#selenium