唐突にプログラムを作成してほしいという依頼が。
ちょこっと使いたいだけだから、過去に似たツールがあればそれでもいいとのこと。
確かに8年前くらいにそんなツール合ったような…

ってことで過去のツールでもいいよってなりました。
おそらくライブラリが足りないだろうから、それだけ入れれば動くんじゃないかなー、って楽観視。


実際動かしてみると。。。

    print e.message
          ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(int e.message)?

ああ...orz
Python2系だ。。。（げんなり）

2系をインストールして、対応しようかしら？
ちょっと迷ったけど、800行くらいのソースなんだしprint文くらいかっこで括ろうよ！
というわけでprintを書き換えて再実行。

  File "C:\Users\s.ikota\Documents\000.develop\easy_crawler_rev3.4.0（開発中） - コピー\crawler.py", line 201
    raise UnicodeDecodeError, "Failed convert string."
                            ^
SyntaxError: invalid syntax

raiseの書き方が変わってる…
直して実行

    import urlparse
ModuleNotFoundError: No module named 'urlparse'

くっ！
import urllib.parse as urlparse に変えて実行。

今度は StingIO ！
import io as StringIO

次

f.next()
↓
next(f)

次

raw_input()
↓
input('')

そろそろ心が折れてきそうだわ…

if isinstance(o, str):
    return o.encode('utf-8')
Traceback (most recent call last):
  File "", line 1, in 
AttributeError: 'bytes' object has no attribute 'encode'

ん？
これはあれね、2系はbytesのことをstrと呼び、strのことをunicodeと呼んでいたからね。
一瞬なんで？ってなったわ。

return len(filter(lambda x: x, arr_text))
Traceback (most recent call last):
  File "", line 1, in 
TypeError: object of type 'filter' has no len()

listで返らなくなったのよねー、filterとかmapとかさ。


と、いうことでこんな感じでした。
これはガチなシステムだったら2系からの移行は確かに躊躇するわね。

番外編。

with open(RES_FILE, "wb") as f:

2系のころはバイナリとして読み込んだ後、適宜unicode化するのが当たり前だったわね。
結局後続のdecode、encodeでコケるので、これもbをとるような修正をしました。