PyCon Taiwan 2021 與會隨筆

-

PyCon Taiwan 2021：大會之後會將影片上傳至 Youtube

Day 1

成功地測試失敗

  • 需求是要修理某個折扣的邏輯，但講者發現 api 傳來的資料是 list，猜測可能會傳過來不只一組折扣，所以用「迭代 list 中所有項目」的方式處理。上線後發現，果然沒猜錯，會傳過來不只一組折扣。如果當時沒有迭代整個 list，而只處理 list[0] 這組折扣，那就又要修 bug 了。

使用 Pytest 進行單元測試

  • python 內建 unitest 模組。pytest 套件支援 unitest 的 test case，在使用上 pytest 的語法比較方便，功能也比較強大。

  • 參考書：The Art of Unit Testing

  • 出口驗證有三種:

    • 檢查函式的 output

    • 檢查函式的 private property。若沒有 getter 可存取該 property，會比較麻煩一點。不過 python 沒有真正的 private property，處理起來比較容易。

    • 函式的 return 就是呼叫外部 api。此時可以模擬外部 api，並記錄函式如何呼叫 api，這樣就能檢查呼叫的方式是否正確。

  • 以前沒有想過「exception也要測試」這件事

  • 原來測試碼覆蓋率，是有套件可以幫我們計算的。

Lightning Talks

  • Patrick：用 Python 解決 iOS 14 之亂所帶來的數位廣告問題

    塔圖科技針對「第三方 cookie 停用，網站需要在後端把資料送去給 FB」而推出了一個解決方案，讓網站不需要更動後端的程式碼，就可以送資料給 FB。我目前主要是學習網站後端的技能，這個消息透露了，第三方 cookie 停用，替代方案可能會需要由網站的後端工程師完成。

  • DennySORA：挖掘 asyncio 時的 try, except, else 與 finally 的小發現

    原來 try-except-finally ，在不同的地方 return，會出現各種意料之外的效果。嚇得我立刻去搜尋到這篇文章 Python: 浅析 return 和 finally 共同挖的坑。雖然看得似懂非懂，但感覺 dis 這個套件好厲害啊，如果哪天需要研究編譯器（或直譯器？），或許用得上？

    之前學 javascript 時學到非同步語法，但是學習 flask 期間，似乎都沒用到非同步語法，有點好奇 python 版的非同步語法會是什麼。後來偶然瞥見有個東西叫 asyncio，但還沒有研究過，今天聽這個閃電秀，才知道其中的眉角不少啊

Day 2

爬蟲與反爬蟲乾貨

  • 如果發現某個網頁有很多爬蟲的流量，其實可以考慮將資訊做成付費 api，而不是直接跟爬蟲槓上，做出許多防堵爬蟲的機制。

  • 爬蟲的兩個方式：request（優點：不會真的去載入圖片等等資源）、模擬使用者行為的 selenium

  • 反爬蟲的機制：網頁加上空白 div、動態 class name、登入才能取用資源、圖片驗證碼、圖片驗證或算數驗證

  • 爬蟲對付動態 class name：xpath

  • 爬蟲對付圖片驗證碼：tesseract、機器學習

使用 Python 實現可即時互動用的遠端影音傳輸

  • HLS：將影像切成小封包，用 cdn 傳送，可支援大量人數同時上線，但會有 30 秒至 3 分鐘的延遲。

    WebRTC：拓墣網路，能同時上線的人數有限，延遲時間較 HLS 短。

    Peer to peer communication。不同私有網域裡的兩台電腦如何互傳訊息：Network Address Translator（NAT）。

從 Flask 邁向 FastAPI 的心路歷程

  • multi-thread 的 GIL 限制 in CPU bound（不過用非同步，不一定能改善運算時間，並且要留意 race condition）

  • WSGI：同步溝通協議規範（Flask）

    ASGI：非同步溝通協議規範（FastAPI）

  • 定義路由

    FastAPI：method.route

    FlaskRESTful：以 Resource 為單位建立 route

  • api 文件

    FastAPI：自動生成文件

    FlaskRESTful：可使用 Flask-RestPlus

  • 檢查 input/output

    FastAPI：用 type hits 和 pydantic 檢查，比較靈活

    Flask：可使用 marshmallow

    FlaskRESTful：可以在 Resource 裡做基本檢查，靈活度低

嫌 Django 的 Validator 不好用 !? 不如自幹一個

  • Django Validator 的缺點

    • 跟 model、form 綁在一起

    • 無法檢查多個欄位之間的平行關係。例如 A 欄位和 B 欄位，要嘛同時有值，要嘛同時沒有值；A、B、C 欄位其中一個有值時，D 欄位可以有值

    • validator 的行為不直覺。例如，model 的 validator 要自己手動呼叫，而且要設定某個參數欄位是 true，這樣檢查沒通過時才會拋出例外。沒有手動呼叫的話，錯誤的資料，不會觸發任何提醒就直接存進資料庫。

  • 講者 Kilik Kuo 自製的 data-spec-validator

Open space

Lightning Talks

Comments

Post a Comment

Popular posts from this blog

Alpha Camp 全端開發課程學習心得

-
我喜歡邏輯，在哲學系求學時期，我花最多時間的科目，是形式邏輯。但是我一直不明白這個我相對擅長的科目，到底能用在什麼地方。我的邏輯能力，並沒有好到足夠讓我走上學術研究的路，那麼，或許我可以試著寫程式？ 學生時期的我，自認沒有錢，但是有時間。捨不得花錢去上程式設計課程，寧願自己找資源學習。去上過一些免費的程式入門課程，c++ 和 python，對我而言不是很難，但是學完之後，我還是看不出來，要怎麼靠學到的東西解決生活中遇到的問題，漸漸地就沒有動力繼續學下去。 直到出社會，存了點錢，也漸漸體會到時間的重要，終於捨得花錢投資自己，到 Alpha Camp 上專業的課程，而不是無頭蒼蠅自己亂找一通，省下許多時間，也看到自己學的東西是真的能用的，讓我有動力繼續學下去。 我還記得學到串接 api 的時候，心裡真是太激動了。以前在學免費課程時，就隱約有種「我寫的程式，範圍只侷限在我的電腦上」的貧瘠感覺，而在知道了 api 後，發現「我寫的程式可以跟世界接上線了」，頓時覺得自己非常富有。不過，後來才知道，串別人的 api 服務通常是要付費的。 大概是受了形式邏輯的影響，我在學習程式語言時，總是試圖去辨認，哪些東西是比較基本的，基本的東西是透過什麼樣的規則組合出複雜的東西。例如，變數、array、for 迴圈和 function 是基本的東西，可以用這些基本的東西組合出 array 的 reduce 方法，像這樣： function mimicReduce(array, reducerFunction, initialValue) {     if (initialValue) {         let accumulator = initialValue         for (let i = 0; i < array.length; i++) {             accumulator = reducerFunction(accumulator, array[i])         }         return accumulator     } else {         let accumulator = array[0]         for (let i = 1; i < array.length; i
Read more

在 javascript 用 regular expression 為金額加上千位數分隔符號

-
 為了方便使用者快速判斷金額，所以想加上千位數分隔符號。例如： 3000 --> 3,000 3000000 --> 3,000,000 搜尋資料後，結論： 如果數字有小數點的話，可以用  const amount = '3000.00' amount.replace(/\B(?<!\.\d*)(?=(\d{3})+(?!\d))/g, ',') 參考資料： Javascript之數值千分位符號（Comma）的顯示 如果沒有小數點的話，可以用  const amount = '3000' amount.replace(/\B(?=(\d{3})+(?!\d))/g, ',') 參考資料： [Javascrpt]轉換數字成含千分位的文字   不過這個鬼畫符的語法我完全看不懂，查資料的時候一度不肯相信這是真正的程式碼呢⋯⋯因緣際會在讀書會中，得到 Helix 同學提示的關鍵字「 regular expression」，決定試著弄懂，「amount.replace(/\B(?=(\d{3})+(?!\d))/g, ',')」到底是什麼意思。 一、 String.prototype.replace() - MDN 範例：我不小心把 world 拼成 word，想要把句子裡所有的 word 都替換成  world。 const text = 'Hello word! Hello word!' console.log(text.replace('word', 'world')) 結果印出 Hello world! Hello word! 很不幸地，只有第一個錯字有替換，其他錯字都被放生了。如果想要替換全部的 word，就要這樣寫： const text = 'Hello word! Hello word!' console.log(text.replace( /word/ g , ' world '))
Read more

shop_platform - sqlalchemy.exc.TimeoutError

-
發生的問題 啟動伺服器後，第二十一次請求「需要查詢資料庫」的頁面時，會出現「sqlalchemy.exc.TimeoutError: QueuePool limit of size 10 overflow 10 reached, connection timed out, timeout 30.00 (Background on this error at: https://sqlalche.me/e/14/3o7r )」的錯誤訊息。如果請求是不需要查詢資料庫的（例如靜態檔案或前往登入頁面），就不會發生此錯誤。 把 size 和 overflow 設定成更小的數字，可以更快重現這個錯誤 。 感覺起來，就像查詢完資料庫以後，沒有把 connection 釋出一樣，導致「size + overflow」是多少，就只能查詢多少次資料庫。 發現瀏覽器每向伺服器請求一次「需要查詢資料庫」的頁面，在 MySQL Workbench 用 show PROCESSLIST; 指令的查詢結果就會多出一筆資料，筆數達到 size + overflow 時，若再次請求「需要查詢資料庫」的頁面，就會噴 QueuePool limit of size 10 overflow 10 reached 的錯誤。關閉伺服器時，那幾筆資料才會被刪除。 嘗試過但失敗的方法 app.run(debug=False) 自己註冊一個關閉 session 的函式 @app.teardown_appcontext # 改成 @app.teardown_request 也沒用 def teardown_db(exception): db.session.remove() # 改成 db.session.close() 也沒用 print('***** session.remove') # 這一行有印出來，所以此函式有被執行 把 FLASK_ENV=development 拿掉 ，於是 FLASK_ENV 變成預設的 production app.config["SQLALCHEMY_COMMIT_ON_TEARDOWN"] = True 終於成功的方法 第一種方法：用 Ap
Read more