【Python 3.x】e-Statからのデータ取得

e-Statは政府が提供している統計データですが、ものによってはAPIを提供しているため、Pythonで気軽に取得することが可能です。
www.e-stat.go.jp

例えば、国勢調査の男女別人口及び人口性比に関しては、以下のページからWebで確認することができます。
www.e-stat.go.jp

このページの左端にある表示項目選択を開くと、表示する項目を選択することができます。
選択後、ページ右にあるAPIボタンを押すことでXML/JSON/CSVのそれぞれの形式でファイルが取得できるAPIを取得することが可能。
今回は以下のような条件で取得
・表彰項目:人口、人口性比
・男女_時系列:男、女
・地域_時系列:都道府県全て(全国、人口集中地区、人口集中地区以外の地区は除外)
・時間軸(調査年):全て

Pythonのプログラムで取得する場合は、以降に記載するプログラムのように組めば行けます。
requestsモジュールを使うため、入れてない場合はpipで導入することをお勧めします。

python -m pip install requests

ちなみに、APIを利用する場合は、appIdを利用する必要があります。appIdはe-statでユーザ登録しないと入手できないため、あらかじめ登録作業が必要になります。
詳しくはこちら。
www.e-stat.go.jp

APIの仕様は以下に記載されています(現在は3.0)。
www.e-stat.go.jp

テストフォームを利用して、あらかじめAPIの確認も可能です。
https://www.e-stat.go.jp/api/sample/testform3-0/

というわけでプログラム。

import requests
import sys

# --CSVファイルパス
CSV_PATH = r"C:\Users\hoge\Desktop" + "\\"

url = "http://api.e-stat.go.jp/rest/3.0/app/getSimpleStatsData"
cdArea="01000,02000,03000,04000,05000,06000,07000,08000,09000,10000,11000,12000,13000,14000,15000,16000,17000,18000,19000,20000,21000,22000,23000,24000,25000,26000,27000,28000,29000,30000,31000,32000,33000,34000,35000,36000,37000,38000,39000,40000,41000,42000,43000,44000,45000,46000,47000"
cdCat01="110,120"
cdTab="020"
appId="testtesttesttesttesttesttesttesttesttesttesttesttesttesttest"
lang="J"
statsDataId="0003410379"
metaGetFlg="N"
cntGetFlg="N"
explanationGetFlg="N"
annotationGetFlg="N"
sectionHeaderFlg="2"
replaceSpChars="0"

# --HTTPリクエスト実行
def request() :
    params = {
                'cdArea':cdArea
              , 'cdCat01':cdCat01
              , 'cdTab':cdTab
              , 'appId':appId
              , 'lang':lang
              , 'statsDataId':statsDataId
              , 'metaGetFlg':metaGetFlg
              , 'cntGetFlg':cntGetFlg
              , 'explanationGetFlg':explanationGetFlg
              , 'annotationGetFlg':annotationGetFlg
              , 'sectionHeaderFlg':sectionHeaderFlg
              , 'replaceSpChars':replaceSpChars
              }

    filename = 'kokusei.csv'

   response = requests.get(url, params=params) #GETメソッドで情報を取得
    response.encoding = response.apparent_encoding

    res_list = []
    res_list = response.text.split()
    #print(response.text)
    
    if "STATUS" in res_list[1]:       # 2行目にSTATUS文字列が入っていた場合(返却がエラーの場合)
#         print(f'{res_list[1]}:{res_list[2]}')
         return

    #print('API実行、データ取得完了')

    f = open(CSV_PATH + filename, 'w', newline='', encoding='utf8')
    f.write(response.text)
    f.close()

#    table_insert(filename, date)
    return

try:
    request()

except Exception as e:
#    logger.error(f'エラー要因:{str(e)}')
    sys.exit()

 
問題なくCSVに吐き出されると以下のような内容で取得できます。

"tab_code","表章項目","cat01_code","男女_時系列","area_code","地域_時系列","time_code","時間軸(調査年)","unit","value"
"020","人口","110","男","01000","北海道","1920000000","1920年","人","1244322"
"020","人口","110","男","01000","北海道","1925000000","1925年","人","1305473"
"020","人口","110","男","01000","北海道","1930000000","1930年","人","1468540"
"020","人口","110","男","01000","北海道","1935000000","1935年","人","1593845"
<||

【OpenMPTCProuter】ラズパイ4へPi-hole導入し、全ローカルマシンで広告ブロック実施とDNSサーバ設定を統一化

engetu21.hatenablog.com

以前、OpenMPTCProuterで利用しているVPSにPi-holeを導入しましたが、ネットワーク状況を示す表示が微妙な感じになったのでやめました(公式に載ってるからやってみたのにどういうことやねんと思わなくはないが)。

Pi-hole自体は使いたいので、現状ローカルネットワーク内でファイルサーバ兼VPNサーバ(前回対応済み)として動いているラズパイ4に導入します。
以下のコマンドでインストーラが起動するため、あとは以前設定した内容と同じような感じ(冒頭のリンクで記載しているので割愛)でインストールを実施。

$ curl -sSL https://install.pi-hole.net | sudo bash

 
ラズパイ4に入れ終わった後に、OpenMPTCProuterの設定も変更します。
github.com

OpenMPTCProuterでは、[ネットワーク]→[DHCPおよびDNS]→[一般設定]タブと辿っていき、
DNSフォワーディング」のデフォルト設定値の「/lan/」「/use-application-dns.net/」以外を削除したうえで、ラズパイのIPアドレスを設定します。

 
インターネットに出るまでのルーティングはちょっと回りくどくなるけど、
ローカルPC→OpenMPTCProuter(ルータサーバ)→ラズパイ4(Pi-hole)→OpenMPTCProuter→(VPS)→インターネット
という形になります。
この形の利点として、OpenMPTCProuterでDNSフォワーディングにラズパイ4を指定しておくことで、
ローカルネットワーク内のすべてのPC/スマホでのインターネットアクセスにおいて、DNS解決で必ずPi-holeを通過することになるので、広告ブロックの適用(とDNSキャッシュの利用)を行うことが可能になります。
また、各々の端末でDNSサーバの設定をわざわざ行う必要もなくなる。とても快適。

【OpenMPTCProuter】ポートフォワーディングとPiVPN(WireGuard)でVPNを実現【ラズパイ4】

OpenMPTCProuterの設定でWireGuardができるっぽいけど、あきらめました(唐突)。
OpenMPTCProuterのベースはOpenWrtなので、以下のサイトを参考にできそうな気配はありました。
yassi.hatenablog.com
qiita.com


しかし、ゾーン作ったりするあたりから手順が億劫すぎたので、これならもはや自宅ローカルネットにあるラズパイ4で、PiVPNを使ってWireGuardを入れたうえで、ポートフォワーディングしたほうが手っ取り早いという結論に至りました。
現状のラズパイ4はファイルサーバとして動いているだけですが(VPNサーバ機能は一旦オミットした)、スペック的にまだまだいろいろできるので、再度VPNサーバとして動かす。また先日取り上げたpi-holeを入れることを考慮中。
 
ラズパイにPiVPNでWireGuardを入れたのは過去にやったので省略。
engetu21.hatenablog.com
 
OpenMPTCProuterでのポートフォワーディング設定は以下の通り。
メニューの[ネットワーク]→[ファイアウォール]→[ポートフォワーディング]→[追加]でダイアログを開く

名前:適当
プロトコルUDP
送信元ゾーン:vpn
外部ポート:51820
宛先ゾーン:lan
内部IPアドレス:ラズパイ4のIPアドレス
内部ポート:51820
 
注意すべき点は、送信元ゾーンを「vpn」とすること。外部からのアクセスとなるため、「wan」で設定するかと思いましたが、そうでもないらしい。ベースとなっているOpenWrtでは「wan」を設定する模様。OpenMPTCProuterはVPSVPNで繋げてるから特殊なのだろうと推測。
設定は公式の資料を参考にしました。
github.com

しかし、公式だと一旦OpenMPTCProuterにポートフォワーディングしてから、SNAT設定で目的のサーバに通信を流してるように見える。これでもできる模様(SSHでアクセスできるのは確認。ただし公開鍵方式にしてると、秘密鍵が転送されない?っぽくてログインできず。パスフレーズならいけるかもしれない)だが、なぜこんな回りくどい方法をしているかは不明。
 
これを保存と適用で完了。
なお、このファイアウォールで設定した内容は、どうやらVPS側にファイアウォール設定として適用されるらしい。
正確にはVPSのshorewallの設定が変更され、かつshorewallが即時に再起動されて(iptablesの設定として)適用される模様。

VPSのshorewallのルール設定ファイルを見ると、以下の項目が追加されます。

$ sudo view /etc/shorewall/rules
(略)
DNAT net vpn:$OMR_ADDR udp 51820 # OMR openmptcprouter redirect router 51820 port udp

netはインターネット側のネットワークで、vpnは(VPSも含めた)OpenMPTCProuterのローカル側のネットワーク。UDP51820のポートをDNAT設定するよ、というのが自動的に設定されるようです。
 
スマホのWireGuardクライアントから正常にアクセスできることができたため、これで公衆WiFiを利用する場合も暗号化通信ができます。
あと、OpenMPTCProuterによるポートフォワーディングは、以下のSSHポートフォワーディングの代替が可能となるため(VPSを媒介にするという点で原理的には同じになる)、特に記事にはしませんが、今回と同じ手順で設定する予定です。
engetu21.hatenablog.com

【ラズパイ3】CUIでのWiFi設定いろいろ【Raspbian】

依然調べたときに、nmtuiコマンドを利用することでWiFi設定を楽に実施することができた。それまでは、どこそこのファイルに特定のフォーマットで直接記述するなど、とても面倒なことをやっていたが、これが解消されるわけである。
nmtuiの似たようなのにnmcliがあるが、これを利用しても設定が可能。
ただし、nmtui/nmcliはNetworkManagerというネットワーク管理プログラムを利用する。
ラズパイというかRaspbianのデフォルトのネットワーク管理はdhcpcdを使っているため、これの使用を抑止したうえでNetworkManagerを使うようにする。
 
無線は切れてしまうため、有線LANをあらかじめ接続しておく。
まずはNetworkManagerをインストール。

$ sudo apt install network-manager network-manager-gnome

NetworkManagerの永続化と有効化を実行し、dhcpcdはお休みしてもらう(apt removeで消してもいいけど)。


$ sudo systemctl stop dhcpcd.service
$ sudo systemctl disable dhcpcd.service
$ sudo systemctl enable NetworkManager.service
$ sudo systemctl start NetworkManager.service

これでnmtui/nmcliが使えるようになる。

$ sudo nmtui
$ sudo nmcli con show
等(オプションの組み合わせはいろいろ)

また、「wicd-curses」というアプリを利用してもいい。
ただし、上記のdhcpcdやNetworkManagerと競合する可能性が高いため、使用するならどれか一つにしたほうがよさそう(nmtui/nmcliは根っこが同じなのでたぶん大丈夫だが)。
以下のコマンドでインストール可能。

$ sudo apt install wicd-curses

実行は以下のコマンド。

sudo wicd-curses


無線ネットワークのリストが表示されるため、接続したいネットワークを上下キーで選択し、右キーを押して詳細な設定画面を開く。
 

スペースキーを押すことで[X]が付与され、該当項目の有効化が可能。
「固定IPを使用する」はDHCPを利用するなら特に設定は不要。
「このネットワークに自動的に接続する」と「暗号化する」を選択しておき、該当する暗号化方法を選択後にキーを入力しておけば、切断されても自動再接続をしてくれる(もっともnmtuiでも同じように再接続の設定はできる)。
入力後は、画面下に表示されている「S」を入力して設定を保存し、一覧画面に戻って「C」を入力することで該当のWiFIネットワークへの接続をその場でしてくれるため、接続可否の確認することが可能。

Pi-holeへのブロックリストの追加

先日入れたPi-holeでのブロックリストの追加を行います。
実施はPi-holeを導入したVPSマシン。SSHで入り、まずはpipをインストール。

$ curl -kL https://bootstrap.pypa.io/get-pip.py | python3
$ pip -V
pip 20.0.2 from /usr/lib/python3/dist-packages/pip (python 3.8)

pihole5-list-toolを使えば手軽にリストを増やすことができるとのことなので、pipにてインストールして実行。

$ sudo pip install pihole5-list-tool --upgrade
$ sudo pihole5-list-tool


Enterを押していくと、ブロックリストの登録まで行きます。
リストが多すぎても運用に支障をきたす(意図しないものもブロックしてしまう)ので、真ん中にある一番ゆるいTicked listsを選択し、Enter。


30リストを入れるそうなので、Yesを選択し、入れてもらいます。

というわけでリストを入れる前と後で比較すると、30万ほどのブロックドメインが登録されました。
※すでに入っているドメインに関してはスキップされる仕様らしい。

・適用前

・適用後

定期的にやるといいかもしれませんね。

OpenMPTCProuter(で使っているVPS)にPi-holeをインストールして広告ブロックを施す

※2022/9/30追記※
どうもVPSにpi-holeを入れるとOpenMPTCProuterのステータスが以下のようになり、VPSが正常に認識?されなくなるらしい。

グラフによる回線使用状況を確認する限り、2回線をちゃんと利用しているようだが、管理画面がこの状態というのはなんとも気持ちが悪い。

$ pihole disable

で停止しても変化なし。

$ pihole uninstall

でpi-holeをアンインストールしても変化なしです(一応試した)。

pi-hole自体は有用なので、とりあえず様子見。(必要があれば別のサーバで運用も視野に入れたい)
→ラズパイ4に入れて運用する方向に変更しました。
engetu21.hatenablog.com
※追記終わり※


Pi-hole(パイホール)はAdBlocking、要するにサイト広告をブロックしてくれるアプリケーションとのこと。(DNSキャッシュとかもできるらしいけど)
docs.pi-hole.net
 
前回OpenMPTCProuterの対応をしたので、これを導入してみる。 
engetu21.hatenablog.com
 
OpenMPTCProuterで使っているVPSに入れることで、ネットワーク配下のクライアントすべての通信に適用されるため、スマホやWindowsPC等、個別にAdBlockアプリを入れてるのが不要になります。
元々OpenMPTCProuterとは全く関係ない代物ですが、OpenMPTCProuterをルータとして動かすと必然的にPi-holeを動かしているVPSも通過するため、自然に通信上で適用がなされる(という仕組みになるらしい)。

なお、Piと名前がついているものの、ラズパイ以外のサーバに普通に入るとのこと。
あとYoutubeの動画広告を回避は難しいらしいです。
  
GitHubにインストール方法が書いてあったため、試しにインストールしてみます。
github.com

VPSSSHでログインし、以下のコマンドを実行します。

$ wget -O - http://www.openmptcprouter.com/server/omr-pihole.sh | sudo sh

キャプチャ忘れてたので、あとからコピペしたログで…

 qqqlqqqqqqqqqqqqqqqqqqqqqqqqqStatic IP Neededqqqqqqqqqqqqqqqqqqqqqqqqqqqkqqqqq
    x                                                                    x
    x                                                                    x
    x The Pi-hole is a SERVER so it needs a STATIC IP ADDRESS to         x
    x function properly.                                                 x
    x                                                                    x
    x IMPORTANT: If you have not already done so, you must ensure that   x
    x this device has a static IP.                                       x
    x                                                                    x
    x Depending on your operating system, there are many ways to achieve x
    x this, through DHCP reservation, or by manually assigning one.      x
    x                                                                    x
    x Please continue when the static addressing has been configured.    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                   <Continue>          <  Exit  >                   x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

Continueを押下
 

    lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk
    x Choose An Interface (press space to toggle selection)              x
    x lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk x
    x x                  (*) ens3          available                   x x
    x x                  ( ) mlvpn0        available                   x x
    x x                  ( ) gt-udp-tun0   available                   x x
    x x                  ( ) dsvpn0        available                   x x
    x x                  ( ) omr-bonding   available                   x x
    x x                  ( ) ovpnbonding3  available                   x x
    x x                  ( ) ovpnbonding1  available                   x x
    x x                  ( ) ovpnbonding4  available                   x x
    x x                  ( ) ovpnbonding5  available                   x x
    x x                  ( ) ovpnbonding6  available                   x x
    x x                  ( ) ovpnbonding2  available                   x x
    x x                  ( ) ovpnbonding7  available                   x x
    x x                  ( ) ovpnbonding8  available                   x x
    x mqqqqqqqqqqqqqqqqqqqqqqv(+)qqqqqqqqqqqqqqqqqqqqqqqqqqqqqq76%qqqqqj x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                   <Select>          < Exit >                       x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

NICの指定はens3のままでいいのでSelectを押下
 

    lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk
    x Select Upstream DNS Provider. To use your own, select Custom.      x
    x lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk x
    x x                Google (ECS, DNSSEC)                            x x
    x x                OpenDNS (ECS, DNSSEC)                           x x
    x x                Level3                                          x x
    x x                Comodo                                          x x
    x x                DNS.WATCH (DNSSEC)                              x x
    x x                Quad9 (filtered, DNSSEC)                        x x
    x x                Quad9 (unfiltered, no DNSSEC)                   x x
    x mqqqqv(+)qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq70%qqqqqj x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                   <  OK  >          < Exit >                       x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

DNSは何でもいいけど、無難にGoogleあたりを選択してOK
 

 qqqlqqqqqqqqqqqqqqqqqqqqqqqqqqqqBlocklistsqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqkqqqqq
    x                                                                    x
    x Pi-hole relies on third party lists in order to block ads.         x
    x                                                                    x
    x You can use the suggestion below, and/or add your own after        x
    x installation.                                                      x
    x                                                                    x
    x Select 'Yes' to include:                                           x
    x                                                                    x
    x StevenBlack's Unified Hosts List                                   x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                     < Yes >           < No  >                      x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

Yesを選択
 

 qqqlqqqqqqqqqqqqqqqqqqqqqqqAdmin Web Interfaceqqqqqqqqqqqqqqqqqqqqqqqqqqkqqqqq
    x                                                                    x
    x                                                                    x
    x Do you want to install the Admin Web Interface?                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                     < Yes >           < No  >                      x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

Yesを選択

 qqqlqqqqqqqqqqqqqqqqqqqqqqqqqqqqWeb Serverqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqkqqqqq
    x                                                                    x
    x                                                                    x
    x A web server is required for the Admin Web Interface.              x
    x                                                                    x
    x Do you want to install lighttpd and the required PHP modules?      x
    x                                                                    x
    x NB: If you disable this, and, do not have an existing web server   x
    x and required PHP modules (sqlite3 xml intl json) installed, the    x
    x web interface will not function. Additionally the web server user  x
    x needs to be member of the "pihole" group for full functionality.   x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                     < Yes >           < No  >                      x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

Yesを選択

qqqlqqqqqqqqqqqqqqqqqqqqqqqqqqEnable Loggingqqqqqqqqqqqqqqqqqqqqqqqqqqqqkqqqqq
    x                                                                    x
    x                                                                    x
    x Would you like to enable query logging?                            x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                     < Yes >           < No  >                      x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

Yesを選択
 

    lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk
    x Select a privacy mode for FTL.                                     x
    x https://docs.pi-hole.net/ftldns/privacylevels/                     x
    x lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk x
    x x                (*) 0  Show everything                          x x
    x x                ( ) 1  Hide domains                             x x
    x x                ( ) 2  Hide domains and clients                 x x
    x x                ( ) 3  Anonymous mode                           x x
    x x                                                                x x
    x x                                                                x x
    x mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                   <Continue>          <  Exit  >                   x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

設定を変えずにContinueを選択
 

    lqqqqqqqqqqqqqqqqqqqqqqInstallation Complete!qqqqqqqqqqqqqqqqqqqqqqqqk
    x Configure your devices to use the Pi-hole as their DNS server      x
    x using:                                                             x
    x                                                                    x
    x IPv4: XXX.XXX.XXX.XXX                                               x
    x IPv6: Not Configured                                               x
    x If you have not done so already, the above IP should be set to     x
    x static.                                                            x
    x View the web interface at http://pi.hole/admin or                  x
    x http://XXX.XXX.XXX.XXX/admin                                        x
    x                                                                    x
    x Your Admin Webpage login password is XXXXXXXXXXXX                     x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    x                                                                    x
    tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu
    x                             <  OK  >                               x
    mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

OKを押下
 
 
インストールが完了後、OpenMPTCProuterに接続されている作業用PCから以下のアドレスにアクセスします。
下記URLは外部の別PCからはもちろん、VPSIPアドレスを指定したhttp通信もダメだったので、必ずOpenMPTCProuterの配下PCで以下のURLでなければいけないようです。(そこら辺を把握してなくて時間かかった)

http://pi.hole/admin

ログインが完了すると以下のような画面になります。
現状はBlockリスト等は何も弄ってないため、それはまた後日やります。
ボチボチ弾いてはいる模様。

 
Pi-hole適用前

Pi-hole適用後

  
なお、初期パスワードは覚えづらいので、VPSSSHで入って以下のコマンドで変更可能です。

$ pihole -a -p
Enter New Password (Blank for no password):
Confirm Password:
[?] New password set

 
ブロックリストの追加については以下に記事起こしました。
engetu21.hatenablog.com

LIVA ZにOpenMPTCProuterをセットアップし、回線を束ねて高速化できるかを試す

※この記事はボチボチ進めながらメモっぽくまとめていくので随時更新します。もしかしたら途中で詰まって断念するかもしれない
→一応完了。


■参考サイト
貧弱なインターネット回線をたくさん束ねて強くできる「OpenMPTCProuter」レビュー - GIGAZINE
OpenMPTCProuterで複数インターネット回線を集約して接続帯域を増加する - Qiita
OpenMPTCProuter でネット接続をタバタバして(束ねて)みる|Takumin|note

 

1.長い前置き

住んでいるアパートが数か月前から無料でアパートWiFi(BUFFALOのサービスらしい)なるものを提供し始め、毎月6000円払ってるSoftbank光も契約更新時期なので、解約してそちらを利用しようかと思ってます。
 
で、回線速度的には大本は1Gbpsで、比較的空いてるときは上下ともに40Mぐらいは出るよう(ping値も7msぐらいでなかなか)なので、それでもまぁそこそこいいんですが、2.4/5GHz帯のアクセスポイントが複数用意されており、これはもしや複数のネットワーク回線を束ねて高速化って奴ができるのではないか…?ということで挑戦しようと思った次第。(前回USB無線LANドングルを買ったのはこれが理由)
いずれにせよ、各端末でアパートWiFiを掴んでしまうとローカルネットワーク間の通信がままならないため、(また)ルータを自作してNAT設定によってWANを(この場合はアパートWiFiに)一本化を行う必要は出てくる。
 
ボンディング(チーミング)がそれに当たるかなということで、この技術はここにきて初めて学びましたが、この間調べた「nmtui」コマンドで設定することが可能な模様。ただこのコマンドだと無線インタフェースの選択はできないようだし、そもそもここで設定できるボンディングは負荷分散や冗長化といったロードバランサとしての意味合いが強い。
 
やりたいことは複数回線を束ねた高速化なわけで、そういえばと、過去にGIGAZINEで取り上げたSwitchboardというものがあったのは記憶にあり、これが使えないかと考えました。
gigazine.net
 
どうやら回線の統括役となるVPNサーバを設ける仕組みなようで、これ自体はサービスとしては終了。代わりに現在はSpeedifyという名前でクラウドVPNサービスとして提供されているらしい。これがなかなか月額料金を取るようで、いやOSSがあるのではと思い、検索で探し出したのが「OpenMPTCProuter」です。
gigazine.net
今回は、LIVA ZにOpenMPTCProuterを入れ、かつ仕組み的にVPSも必要になるため、そちらも用意して実現していきたい。
 

2.OpenMPTCProuterのイメージファイル取得とインストール

イメージディスクは以下のサイトから取得。
www.openmptcprouter.com

LIVA Zは64bit機なので、x86-64 (64-bits)欄のext4 image (EFI)のものをDLする。具体的には以下のイメージファイル。
openmptcprouter-v0.59.1-5.4-r0+16594-ce92de8c8c-x86-64-generic-ext4-combined-efi.img.gz

これを解凍ソフトで解凍し、rufus等でUSBメモリなりSDカードに書き込みます。
ただ、用意されているイメージディスクはインストーラが入っているわけではないので、DDコマンドでLIVA Zのディスクにコピーしないといけない。
(と、推測でやったけど、一応公式に書いてあった。
Router install · Ysurac/openmptcprouter Wiki · GitHub

というわけで、適当なLinuxディストリビューションのLIVE版を用意し、LIVA Zを一旦そのLIVE版で起動したうえで、DDコマンドを実行する必要があります。
つまり用意するものとしては、
Ubuntu等のLinuxのLIVE版が焼かれたUSBメモリまたはSDカード
②OpenMPTCProuterが焼かれたUSBメモリまたはSDカード
の2つ。

LIVA Zを①で起動し、

$ fdisk -l

のコマンドを叩いて、②で用意したデバイス名とLIVA Zのドライブのデバイス名を調べ、DDコマンドを実行する。ifが②のデバイス名、ofがLIVA Zのドライブのデバイス名。

$ sudo dd if=/dev/sfc of=/dev/mmcblk0 bs=16M

OpenMPTCProuter自体は600MB未満なので、コピーにそこまで時間はかかりません。
コピー完了後、一旦シャットダウンをして①、②を取り外し、再度起動してコンソールにズラズラとOS起動画面が出てきたら成功。
※追記
 DDコマンドを使ったけど、LIVE版Linuxに入っているディスクアプリケーションにて、イメージファイルを選択して書き込みができるようなので、そちらのやり方でもできるかも。
  
作業用PCとLIVA ZをLANケーブルで直接繋ぎ、作業用PC側のブラウザから「192.168.100.1」にアクセスすることでOpenMPTCProuterの管理画面に入ることが可能。(作業用PC側のIP設定は不要。OpenMPTCProuterのDHCP機能で自動的に割り振られる)

なお、最初はrootユーザにパスワードは設定されていない。ので、ブラウザの管理画面もそうだけど、LIVA Zのコンソールでもrootユーザでパスワードなしで入ることができます。

パスワードの変更は以下の順序で辿っていき、変更を行います。
[システム]→[管理]→[ルーターパスワード]タブ

3.VPSの設定

VPSを用意します。
以前はConohaVPSを使ってましたが、今回はさくらのVPS
OpenMPTCProuterではVPS用のシェルスクリプトが用意されていますが、Ubuntu用は20.04までなので、VPSのOSもUbuntu20.04でインストール。

GIGAGINEのインストール方法ではVPSのポート全開放という気でも触れたのかということを行ってましたが、どうやらここに書いてあるポートに合わせて自動的にiptablesが設定されるので問題なしということなんでしょう。たぶん。
なので、VPSのコンソールであらかじめ全ポート開放をしておきます。

シェルスクリプトは以下の手順に書いてある通りコマンドを実行します。
github.com

$ wget -O - https://www.openmptcprouter.com/server/ubuntu20.04-x86_64.sh | sudo sh
GitHubだと最後はshだけど、管理者権限でやったほうが都合がいいのでsudoで実行

/!\ You need to reboot to enable MPTCP, shadowsocks, glorytun and shorewall /!\
と出るので再起動します。
このメッセージの前段で、OpenMPTCProuterからのアクセス用の情報(暗号鍵情報等)が表示されています。
また、以下のファイルにも同様の情報が入っているため、メモし忘れた場合などはローカルにダウンロードしていつでも見られるようにしておきます。

$ sudo view /root/openmptcprouter_config.txt

$ sudo shutdown -r now

再起動後、SSHのポート番号が「65222」に変わります。(正確には再起動前から変わっているが、sshdを再起動するか、サーバそのものを再起動しない限りは影響はでない)
また、iptablesも「65222」でACCEPTが設定されます。というより、iptablesはかなり弄られるし、カーネルも変わるため、兼用ではなく専用VPSとして設けておいたほうがよさそうです。
変更となるポートは先に紹介したgithubで記載されています。

SSHクライアントでポート65222アクセスし、カーネルが変更されていればOK。

$ uname -a
Linux os3-320-49727 5.4.207-mptcp #1 SMP Sun Jul 24 14:39:44 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux

VPS上でのファイアウォール設定はShoreline Firewall (Shorewall)を使ってるようなので、
以下のファイルで設定変更が可能な模様(おそらく)。

$ sudo vi /etc/shorewall/rules

※追記
Shoreline Firewall (Shorewall)を使ってるのはそうですが、直接VPSでShorewallの設定を変更するわけではないようです。実際の動作としては、OpenMPTCProuterの管理画面で設定したファイアウォール設定に基づいて、VPS側のShorewallの設定内容(/etc/shorewall/rules)が自動的に変更されるようです。
なので、基本的にOpenMPTCProuterではVPSで何かを変更するということはない模様。

4.OpenMPTCProuterの設定

LIVA Zの内蔵無線LANを使用するため、OpenMPTCProuterの管理画面に戻り、設定を行います。
(と言っても、ココらへんの設定はメモも取らずになんとなくで行ったので、ちょっと曖昧)
まずデバイスが認識されてそうでなければ、以下の順序でデバイスとして認識させます。
[ネットワーク]→[インターフェース]→[デバイス]タブに移動。
一番下にある[デバイス設定を追加]を押下。
存在するデバイスで無線デバイスがあるはずなので、それを選択します。LIVA Zの場合は、「wlan0」になるはずです。

[ネットワーク]→[無線]から無線デバイス一覧が表示されるため、該当の無線デバイスで[編集]を押下、ESSID欄にてSSIDを設定をします。
ネットワークに「wwan」を設定することでWAN側のデバイスとして設定ができます。
また、パスワードは隣のタブにある[セキュリティ]から設定します。

 
無線LANの設定が終われば、作業用PCからLIVA Z(OpenMPTCProuter)を経由してインターネット接続ができるようになっているはずです。
安全な確認くんは以下のような感じ。

 
で、ここからさらに肝心のVPS接続をします。予め作ったVPSの情報を設定します。
[システム]→[OpenMPTCProuter]→[Setting Wizard]タブに移動し、
ServerIPはさくらVPSのホスト名を指定。(IPアドレスでもいい)
Server usernameはopenmptcprouter_config.txtの「openmptcprouter」の値を設定。ただし、これはデフォルトで設定されているはず。
ServerKeyはopenmptcprouter_config.txtの「Your OpenMPTCProuter Server key」の値を設定。


画面下方にあるInterfaces settingでデフォルトで入っている「wan1」[wan2]は使用しないので削除します。

また、WAN側となる「wwan」にてMultipath TCPをマスターに変更します。


保存することで[ステータス]タブに移動します。
下記のようになっていればOK。
上から順に作業用PCに使ったJetson nano、LIVA Z、VPSとなっています。また、右横にWAN回線として「wwan」が表示されます。

安全な確認くんで確認すると、VPS経由で接続できていることが確認できます。

 

5.2回線目を登録する

先に結論から言うと、USB無線LANトングルでの計測はできませんでした。
まずドライバが無いという点は想定内なのはいいとして、ドライバのインストールができない。
engetu21.hatenablog.com
上記で実施したのはUbuntuですが、OpenMPTCProuterはパッケージ・ソフトウェアがaptではなく、opkgというものを利用しています。
make,gccはインストールすることができるものの、いざmakeを実行しても「/lib/modules/5.4.194/build: No such file or directory.」と言われて止まります。この解消方法は、build-essential、linux-headersをインストールするというのは検索でわかるものの、それをopkgで実現する方法が不明。
また、国内はほぼ情報がないので海外の掲示板を漁るものの、有効な手段は見つけられず。なんなら「Realtekは新しいドライバをひっきりなしに作るからサポートされているのは稀」みたいなことが書かれている始末。OpenMPTCProuterはOpenwrtをベースにしているため、どちらかというとOpenwrtをメインに調査しましたが、有効な手段はなく。
要するに詰んだの諦めました。
※追記(2022/10/13)
どうやら、ベースとなっているOpenWrtで用意されているOpenWrt SDKというのを使って、OpenWrt用のドライバとしてクロスコンパイル(別のLinuxPCなどでコンパイル)をする必要がある模様。クロスコンパイルする理由はOpenWrtを入れるルータ機器は基本的にコンパイルに耐えられるほどのメモリを具備していないからとのこと。しかし、挑戦はしているものの、SDK同梱のgccが動作せずにHelloworldすら作れないので、まだまだ道は長そう。
※追記終わり
 
さて、別の手段として考えたのが、スマホのUSBテザリング機能を使ってWiFiを間接的に掴むことです。
無論802.11のどこまでをサポートしているかはスマホの年代にも依存しますが、一旦仮接続としてOUKITELのスマホを接続して確認。これはac(WiFi 5)まで対応しているため、非常に高速で利用することが可能。
 
まずは、WiFi接続されたスマホをOpenMPTCProuterを入れているLIVA ZとUSBケーブルで接続し、スマホの設定で「USBテザリング」をONにします。
次に以下の手順でOpenMPTCProuterに認識をさせます。
[ネットワーク]→[インターフェース]→[デバイス]から[デバイス設定を追加]を押下。
バイスの選択にて「usb0(wan1)」を選択。

保存&適用し、続いて[システム]→[OpenMPTCProuter]へ。
画面下部から「usb0」を選択し、インターフェースとして追加。

「Multipath TCP」を「有効」にして適用。


[システム]→[OpenMPTCProuter]→[ステータス]
で回線が2つになってることが確認できます。
ちなみに、OpenMPTCProuterのIPアドレスとアドレス帯域は変更してます。

 

6.実測

パターンごとに図ってみました。時刻としてはほとんどの人が使っていない深夜帯。
USB接続スマホSoftbank光(802.11ac)、LIVA Zの内蔵WiFiがアパートWiFiに接続されています。
以下に記載しているMasterは主回線として指定している回線。有効(enable)はMasterほど優先度高くないけど、有効にされている回線です。
なお、設定にはbackupのように、主回線に問題が合ったときの冗長化用の設定もあります。

6.1 アパートWiFiのみ


6.2 Softbank光(802.11ac経由)のみ


6.3 Softbank光(Master) + アパートWiFi(有効(enable))


6.4 アパートWiFi(Master) + Softbank光(有効(enable))

遅い方の回線をMasterに設定すると速い方の回線は補助に回るためか、速い方をMasterにした場合と速度に違いが出てるようには見えます。また、2回線利用することで10Mbpsがアップしているようには見えますが、計測は諸々の影響でどうしても誤差は発生するため、劇的には速度アップはしていないようには見えます。
ただまぁ、単体の回線速度が高いというのもあるので、これが回線混んでいる場合にこの機能がどうなるかは気になるところ。
 
なお、OpenMPTCProuterにはByPass機能があるため([サービス]→[OMR-Bypass])、こちらを利用すると、VPS経由ではなくなります。(当然2回線利用ではなくなりますが)
例えば、速度測定に使ったUSENドメインを登録し、Softbank光で確認すると以下の通り。

これと比較するとVPSボトルネックとなって通信速度とping速度が落ちているということがわかります。
VPSを経由すると100Mbpsが限界値なようにも見えます。なお使ってるのはCPU:2core、メモリ:1GBです。
公式Githubではラズパイ3(4コア1.2Ghz、1GB)で150Mbpsぐらいが限度だとの発言(FAQ · Ysurac/openmptcprouter Wiki · GitHub)があったので、このVPSスペックだとこれが限界ということでしょう。(ラズパイ3のNIC的には100Mbpsが上限だが、USB接続等で他の回線を組み合わせてもCPU的には150Mbpsで頭打ちだよ、と解釈している)
またping速度の落ちは非常に高いため、ゲームサーバなどと繋げる場合はBypassで設定しておいたほうが無難そう。
 
まぁ繋げる回線によっては恩賜を受けられるでしょうし、何よりルータOSとして作られたベースとなっているOpenwrtがいい出来なのか、GUIでの設定というのがとても操作しやすいので、それだけでもUbuntuで人力ルータ作成よりは楽。
ただ、ルータ向けOSだからかパッケージは軽量なopkgで管理ということで、正直aptでできることがそのままできるわけではないということで戸惑う部分は多い。まぁopkgもコマンド打たずにブラウザ上の操作でインストールできたりするけども。
まぁ今回のチャレンジでかなり知識と経験が得られたからよかったかな。