20240519‐法人データの確認

データの作成

• https://www.houjin-bangou.nta.go.jp/download/zenken/
• こちらからCSV形式・Shift_JIS 全国 zip 217MB をダウンロードしてunzip

% wc -l 00_zenkoku_all_20240430.csv
 5467443 00_zenkoku_all_20240430.csv
% iconv -f SHIFT_JIS -t UTF-8 00_zenkoku_all_20240430.csv > 00_zenkoku_all_20240430.utf8.csv
% cat 00_zenkoku_all_20240430.utf8.csv | cut -d, -f 10,11,12 | tr -d '"' | tr -d ',' | tr '＿' '_' > address.txt
% wc -l address.txt
 5467443 address.txt

# md5確認
% md5 00_zenkoku_all_20240430.csv    
MD5 (00_zenkoku_all_20240430.csv) = 8cac6963a5cd5a9cd00aa60e1fffcb13
% md5 00_zenkoku_all_20240430.utf8.csv 
MD5 (00_zenkoku_all_20240430.utf8.csv) = c7a37e72beba1ec6f8081f19bf632a74
% md5 address.txt                     
MD5 (address.txt) = e9876a0334994cce7c8fc57ab3f12655

外字を含む割合をチェック

• https://www.houjin-bangou.nta.go.jp/pc/download/images/k-resource-dl.pdf
  • P.3 リソース定義書
  • 外字は＿で表される
  • [商号又は名称イメージID],[国内所在地イメージID],[国外所在地イメージID]に値がある場合は外字を含むと判断する

	総レコード	商号又は名称イメージID	国内所在地イメージID	国外所在地イメージID
Not Null	115,539	63,662	53,092	393
Null	5,351,904	5,403,781	5,414,351	5,467,050
外字が含まれる割合	2.1588%	1.1781%	0.9806%	0.0072%

if

IF (
  ISNULL([Name Image Id])
  AND
  ISNULL([Address Image Id])
  AND
  ISNULL([Address Outside Image Id])
)
THEN
  TRUE
ELSE
  FALSE
END

---

% cat 00_zenkoku_all_20240430.utf8.csv |tr '＿' '_'|grep "_"|tr -d '"'| awk -F, '{print $10 $11 $12 " /* "$2" "$7 " */"}'|head

北海道札幌市西区発寒十四条２丁目３番１号 /* 1430001072738 華_日本旅行株式会社 */
北海道札幌市北区新川三条１４丁目７番２２号 /* 1430002016669 有限会社_田建設工業 */
北海道小樽市塩谷２丁目１５番１６号 /* 1430002056839 有限会社聚楽_ */
北海道登別市鷲別町６丁目４０番地９ /* 1430002065559 有限会社_田橋梁架設 */
北海道岩内郡岩内町字高台１番地 /* 1430002066549 寶化_工業有限会社 */
北海道札幌市中央区（札幌区北二条西三丁目３番地） /* 1430003000432 北海道鉄道_告合資会社 */
北海道小樽市花園町東二丁目１１番地 /* 1430003002890 合資会社_文堂 */
北海道留萌郡小平町字大椴２９７番地の９ /* 1450001009283 株式会社鳳_ */
北海道旭川市旭町二条５丁目１２番地の１９３ /* 1450002006404 有限会社_北 */
北海道釧路市末広町６丁目１番地 /* 1460003000371 合資会社_尾木材店 */

Match Level	Id のカウント
prefecture	620
city	340
machiaza	1,285
residential_block	167
residential_detail	1,264
parcel	1,403

---

重複住所を除く

% cat ./00_zenkoku_all_20240731.csv| cut -d, -f 10,11,12 | tr -d '"' | tr -d ',' | tr '＿' '_' |sort|uniq > address.txt