データセットフィルタリングの不都合

[syoyo]

• ダブルクオート(")に改行が入ることがある(bunkai での処理時?)
• 記号の多いテキストを除去できていない
  • symbol-to-word ratio などを見る
• 「続きを読むにはクリック」, 「件表示」などの除去ができていない -> line-wise filtering Japanese specific line-wise filtering #3
• EC サイトなどで見られる item 羅列を除去できていない

item 羅列

フィルタできていない example:

ステッチ入りチェック柄プリーツスカート BIG(コスチューム)|2030円|ランジェリーショップ/RANEW|セクシーブラ&ショーツや激安パンティがいっぱい!\n131件-140件表示(全376商品)\n¥2970(定価 ¥OPEN)\n¥3640(定価 ¥5600)

LIXIL[YBC-A10P+DT-385J]一般地 アステオ(ASTEO)\nBbラボラトリーズ 水溶性プラセンタエキス原液(50ml)\n金仏壇:[京型高台上置き兼用型18号]金箔仏壇(仏具別)\n[送料無料][メーカー直送][業務用]1段プラスチックの使い捨て弁当容器T110-110(金箔)蓋付セット 120個入り弁当(お弁当)のテイクアウトにプラの弁当箱(お弁当箱/使い捨て弁当箱/弁当容器/弁当パック/お弁当パック/入れ物/パック/仕出し容器/小鉢柄)\n[中古]GIANNI VERSACE◆リュック/PVC×レザー/イエロー×ブラック/ゴールド金具/レオパード/アニマル柄[バッグ].\n深海鮫生肝油 60粒×6個入り 栄養補助食品.\n[送料無料]吹流し (JCA335) (安全用品・標識/たれ幕・横幕・旗)

[syoyo]

... や ・・・ が多い文章は削除したほうがよさそう
例

"希\"な,なんでにこっちはウチに......\"\nにこ\"希に抱きついたまま首もとに顔を寄せているのかーって?\"\n希\"う......うん.なんで
なん?\"\n希\"......ウチ,なんか悪いことした?\"\nにこ\"さぁねー\"\n希\".........

[syoyo]

あったほうがいいようなきもするし、ないほうがいいようなきもする文章例

{"text": "ストロッパ/ラヴェル/ナンテ/ジョリヴェ/シェーラー:ピアノ作品集(ジャンテ)\nフォーレ/ブラームス/シューマン:バリトンのための作品集(ドゥグー/レッパー)\nブラームス:弦楽五重奏曲第1番,第2番/弦楽六重奏曲第1番,第2番(フシュヌレ/岡田修一/ベルトー/ボワソー/サルク/ルヴィ
オノワ)", "lm_score": 11752.3}

[syoyo]

... を含む文章

... + 改行 or ... + web ナビゲーションのような行は削除したほうがよさそう

大きく潮が引いたとき ... \n続きを読む梅雨明けした途端,あまりに晴れすぎるくらい快晴の天気が続いています. 

昭和45年に崎陽... 続きを読む