protocol parsing algo fixes, mostly old meetings with speaker and content on same line

Author: OriHoch

knesset_data/protocols/committee.py

@@ -34,22 +34,31 @@ def all_field_values(self):
         }
 
 
-class CommitteeMeetingProtocol(BaseProtocolFile):
+def is_not_header(line):
+    return re.search(r'(^אני )|((אלה|אלו|יבוא|מאלה|ייאמר|אומר|אומרת|נאמר|כך|הבאים|הבאות):$)|(\(.\))|(\(\d+\))|(\d\.)', line)
+
 
-    not_header = re.compile(decode(r'(^אני )|((אלה|אלו|יבוא|מאלה|ייאמר|אומר|אומרת|נאמר|כך|הבאים|הבאות):$)|(\(.\))|(\(\d+\))|(\d\.)', 'utf8'))
+class CommitteeMeetingProtocol(BaseProtocolFile):
 
     def _parse_header(self, line):
         if re.match(r'^<.*>\W*$', line):  # this is a <...> line.
-            return re.sub('[>:]+$', '', re.sub('^[< ]+', '', line)).strip()
-        elif self.not_header.search(line):
-            return False
-        elif len(line) <= 50 and line.strip().endswith(':'):
-            return line.strip()[:-1].strip()
+            line = re.sub('[>:]+$', '', re.sub('^[< ]+', '', line)).strip()
+            if is_not_header(line):
+                return line
         else:
             splitline = line.split(':')
             # print(splitline)
-            if len(splitline) == 2 and 5 < len(splitline[0]) <= 50 and (splitline[1].startswith('\t') or splitline[1].startswith(' ')):
-                return splitline[0].strip(), splitline[1].strip()
+            if (
+                len(splitline) > 1
+                and 4 < len(splitline[0]) <= 35
+                and len(splitline[0].split(' ')) < 6
+                and not is_not_header(splitline[0])
+                and not re.search(r'\d+', splitline[0])
+            ):
+                return splitline[0].strip(), ':'.join(splitline[1:]).strip()
+            elif len(line) <= 50 and line.strip().endswith(':'):
+                if not is_not_header(line):
+                    return line.strip()[:-1].strip()
         return False
 
     @cached_property
@@ -120,7 +129,19 @@ def add_part(_header, _section):
 
         # don't forget the last section
         add_part(header, section)
-        return parts
+
+        new_parts = []
+        last_part = None
+        for part in parts:
+            if last_part:
+                if last_part.body.strip() == '':
+                    last_part.body = part.header + ': ' + part.body
+                    last_part = part
+                    continue
+            new_parts.append(part)
+            last_part = part
+
+        return new_parts
 
     def find_attending_members(self, mk_names):
         """

knesset_data/protocols/tests/parts_2058793.csv

@@ -29,8 +29,7 @@ header,body
 2. תיקון סעיף 123 בנושא הצעת חוק לקריאה שניה שהוועדה הציעה להסיר
 מסדר היום (הוספת סעיף 123א).
 3. ביטול סעיף 130 בנושא הצבעה על הסתייגויות סותרות שהתקבלו בקריאה שניה (והוספת סעיף 128א במקומו)."
-נכחו,
-חברי הוועדה,"יוסי כץ, היו""ר
+נכחו,"חברי הוועדה: יוסי כץ, היו""ר
 	אפי אושעיה
 	מיכאל איתן
 	זאב בוים
@@ -176,8 +175,7 @@ header,body
 אבשלום וילן,"נימוק טוב, משל גרוע."
 מאיר פרוש,"אני רוצה להגיד עוד משפט. גם כשהיושב ראש הנוכחי של ועדת כספים אמר: תעבירו את זה אלי ואני אטפל בזה לפי התקנון, מה שצריך לעשות נעשה לא שמעתם בקולו. אני לא רואה כל סיבה שתוכנית כלכלית, שמדרך התקנון צריכה להגיע לוועדת כספים, תגיע פה להרכב שונה מוועדת כספים. אין כל סיבה לשנות את הכללים של הקדנציה הזאת. אתם רוצים לבוא ולשנות אותה – תבואו ותשנו, אבל - - -"
 אברהם פורז,למה? זה שלכם יש שלושה על חשבון מפלגת העבודה זה מונצח.
-מאיר פרוש,
-אני רוצה לומר בבירור,אנחנו התחלנו קדנציה בתמונת מצב כמו שצילמנו אותה אז וליהדות התורה היו שלושה. אני רוצה להזכיר שבמהלך הקדנציה - - -
+מאיר פרוש,אני רוצה לומר בבירור: אנחנו התחלנו קדנציה בתמונת מצב כמו שצילמנו אותה אז וליהדות התורה היו שלושה. אני רוצה להזכיר שבמהלך הקדנציה - - -
 אברהם פורז,"תסביר לי איך לי יש על שישה ח""כים נציג אחד ולך עם חמישה ח""כים יש שלושה? אתה יכול להסביר לי? גם ב""חדר"" לומדים מתמטיקה בכיתה א'."
 "היו""ר יוסי כץ","חבר הכנסת פורז, אני קורא אותך לסדר פעם ראשונה."
 מאיר פרוש,"אני רוצה להזכיר דבר נוסף. שכאשר היו ליהדות התורה שלושה ולש""ס שלושה, במהלך הקדנציה, כאשר הגדילו את חברי ועדת הכספים מ-17 ל-19 ש""ס קיבלה ארבעה. ואני עומד על כך שבהצבעה – איך שאתם רוצים תעשו את זה – אני חושב שיהדות התורה צריכה לקבל שלושה וש""ס צריכה לקבל ארבעה."
@@ -207,8 +205,7 @@ header,body
 חיים כץ,"אבל הכנסת החליטה שהוא יכול להיות. אז אם אתם באים בצורה שרירותית ואומרים: אלה שפחות מארבעה חברי כנסת אין להם מנדט – מילא אין להם מנדט להיות בוועדות. מילא שהוועדות ריקות מפני שאלה שבוועדות לא יכולים לרוץ לחמישה מקומות, אז גם במצב כזה? אז יש גבול לכל בדיחה. אני חושב שלפנים משורת הדין – ואני לא מדבר עלי – בגלל תפקידו, בשביל שזה ייראה – כי צדק צריך לא רק להיראות, צריך גם להיעשות – שבצו את עמיר בלי שום קשר לגודל המפלגה."
 מיכאל איתן,· - -
 חיים כץ,"עזוב. אתה מתעסק באינטרנט, הוא מתעסק בדברים האלה."
-נסים זאב,
-"אני רוצה לומר לך, אדוני היושב ראש","אני לא חבר ועדת הכנסת, אבל אני פשוט המום מהצורה שבה הוועדה הזאת יושבת ועורפת פה ראשים וכולם מצביעים. אני המום."
+נסים זאב,"אני רוצה לומר לך, אדוני היושב ראש: אני לא חבר ועדת הכנסת, אבל אני פשוט המום מהצורה שבה הוועדה הזאת יושבת ועורפת פה ראשים וכולם מצביעים. אני המום."
 נחמה רונן,"יוסי, אנחנו צריכים ללכת להצבעה אחרת."
 "היו""ר יוסי כץ",עוד שני דוברים ואנחנו מצביעים. אני מצטער. יש לנו שני דוברים מהאופוזיציה. אבו וילן וחבר הכנסת דהאמשה ובזה נגמר.
 זאב בוים,"מספיק. מש""ס דיברו כבר."
@@ -261,8 +258,7 @@ header,body
 זאב בוים,"מי אמר לך שהוא לא יעכב את זה? חוץ מזה, הצבענו כבר על ועדה מיוחדת."
 רחמים מלול,אז אני מציע שהוועדה המיוחדת תדון אך ורק בסעיף קצבאות הילדים.
 זאב בוים,אז בתוך הוועדה היא תדון.
-"היו""ר יוסי כץ",
-תודה. אמרתי מקודם,"ההצעה היא הצעה יצירתית. אני אעמיד אותה להצבעה בהנחה שהצעה אחרת לא תעבור. אם הצעה אחרת תעבור אז מובן מאליו שלא אוכל להעמיד אותה להצבעה. ההצעה היא יצירתית, אבל קודם כל יש הצעה של יושב ראש הקואליציה.
+"היו""ר יוסי כץ","תודה. אמרתי מקודם: ההצעה היא הצעה יצירתית. אני אעמיד אותה להצבעה בהנחה שהצעה אחרת לא תעבור. אם הצעה אחרת תעבור אז מובן מאליו שלא אוכל להעמיד אותה להצבעה. ההצעה היא יצירתית, אבל קודם כל יש הצעה של יושב ראש הקואליציה.
 
 רבותי, מי בעד ההצעה שהציע יושב ראש הקואליציה חבר הכנסת בוים, ירים את ידו."
 עבד-אלמאלכ דהאמשה,זה עושק המיעוט. אתם מנטרלים שליש מהכנסת - - -
@@ -282,10 +278,8 @@ header,body
 "היו""ר יוסי כץ","בעוד רבע שעה המשך, הצבעה על הרביזיה.
 
 
-הישיבה הופסקה בשעה 10:30.
-
-
-הישיבה חודשה בשעה: 10:45."
+הישיבה הופסקה בשעה 10:30."
+הישיבה חודשה בשעה,10:45.
 "היו""ר יוסי כץ","לחבר הכנסת דהאמשה יש טענה, בבקשה."
 עבד-אלמאלכ דהאמשה,הרי הוועדה המיוחדת הזו מורכבת מוועדת הכנסת וועדת הכספים	ביחד. איפה העניין הזה נעלם? התמסמס?
 זאב בוים,"לא. מי אמר? ועדה מיוחדת – תפתח את התקנון ותסתכל. זו לא ועדה משותפת, זו ועדה מיוחדת. אדוני סגן יושב ראש הכנסת, סעיף 17 לתקנון, אני מפנה את תשומת לבך. סעיף 17 לתקנון."
@@ -300,8 +294,7 @@ header,body
 מכוח הסעיף הזה קיים סעיף 17 לתקנון שדן בוועדות לעניינים מסוימים והוא כמובן כפוף לחוק היסוד. חוק היסוד אומר שאפשר לבחור ועדה לעניינים מסוימים מבין חברי הכנסת. אין מגבלה שזה יהיה מוועדה כזו או אחרת, אלא מטבע בריאתה ועדה מיוחדת זאת ועדה שהיא גם מיוחדת מבחינת ההרכב שלה, מבחינת מספר החברים ומבחינת הסמכויות שלה, שמליאת הכנסת צריכה לקבוע אותן. 
 
 כמובן, שכל מה שאני אומרת כפוף לכך שלא ייווצר מצב שלא תהיה שוויוניות בוועדה והנושא של שוויוניות – אותו מפתח – זו נקודה פוליטית שאני לא מתערבת בה. אבל אם תבואו - - -"
-אברהם פורז,
-"רגע, זה פסול שאומרים",כל חמישה מקבלים ייצוג? יש בזה פסול?
+אברהם פורז,"רגע, זה פסול שאומרים: כל חמישה מקבלים ייצוג? יש בזה פסול?"
 אנה שניידר,לא אמרתי שזה פסול.
 אברהם פורז,"זה פוגע בעיקרון השוויון, לדעתך?"
 עבד-אלמאלכ דהאמשה,כן. זה פוגע בעיקרון השוויון.
@@ -312,8 +305,7 @@ header,body
 חיים כץ,אני מושך את זה בחזרה.
 נסים זאב,תשמעו גם מה שלא נעים לכם.
 אנה שניידר,אני לא מתערבת – ואסור לי להתערב – בהחלטות פוליטיות שלכם.
-אברהם פורז,
-"לא, אבל את יכולה לומר לוועדה","אתם פוגעים בעיקרון השוויון, אל תעשו את זה."
+אברהם פורז,"לא, אבל את יכולה לומר לוועדה: אתם פוגעים בעיקרון השוויון, אל תעשו את זה."
 אנה שניידר,"הדבר היחיד שאני אומרת זה שהוועדה צריכה להיות לפי הרכב סיעתי. לא מסיעה אחת שיהיו נציגים, כי אז בוודאי שיש פגיעה בשוויון."
 "היו""ר יוסי כץ",אבל את מסכימה אתי שאם זה היה יוצר מצב – המפתח הסיעתי – שיש 15 או 16 חברים מהקואליציה ו - - - זה היה פוגע בעיקרון השוויון.
 חיים כץ,מה בקשר לעושק המיעוט?
@@ -436,11 +428,9 @@ header,body
 שאול יהלום,לא. למה?
 אברהם הירשזון,אני רוצה לשמוע את היועצת המשפטית.
 זאב בוים,"אני רוצה לשמוע. זה עולה למליאה, אולי זו הצבעה במליאה."
-אנה שניידר,"אותו סעיף 17 מפורסם לתקנון בעצם אומר שברגע שהוועדה הזאת נבחרת, דינה – פרט לתקופת כהונתה כדין ועדה קרואה – אם לא קבעה הכנסת הוראות אחרות. 
-
-זאת אומרת: הכנסת רשאית לקבוע, למעשה, כל הוראה לגבי אותה ועדה. מה שצריך זה שוועדת הכנסת תציע את כל ההצעות למליאה. כלומר: שהמסמך שיגיע למליאה יכלול את כל האפשרויות שאתם רוצים שהכנסת תקבע."
-שאול יהלום,
-"לא, אני שואל אותך","נניח שברבע לשתיים נודיע ששאול יהלום הוא חבר הוועדה. לא נודיע על ממלא מקום שום דבר. אם אני אינני, האם יכול נחום לנגנטל מסיעתי להיות ממלא מקומי?"
+אנה שניידר,"אותו סעיף 17 מפורסם לתקנון בעצם אומר שברגע שהוועדה הזאת נבחרת, דינה – פרט לתקופת כהונתה כדין ועדה קרואה – אם לא קבעה הכנסת הוראות אחרות."
+זאת אומרת,"הכנסת רשאית לקבוע, למעשה, כל הוראה לגבי אותה ועדה. מה שצריך זה שוועדת הכנסת תציע את כל ההצעות למליאה. כלומר: שהמסמך שיגיע למליאה יכלול את כל האפשרויות שאתם רוצים שהכנסת תקבע."
+שאול יהלום,"לא, אני שואל אותך: נניח שברבע לשתיים נודיע ששאול יהלום הוא חבר הוועדה. לא נודיע על ממלא מקום שום דבר. אם אני אינני, האם יכול נחום לנגנטל מסיעתי להיות ממלא מקומי?"
 אנה שניידר,"כן. אם לא תודיעו שום דבר לגבי ממלאי מקום, יחולו הכללים הרגילים שחלים על ועדה רגילה."
 שאול יהלום,אז זה יותר טוב.
 זאב בוים,"כן. בסדר. זה יותר טוב. שאלנו, קיבלנו תשובה."
@@ -460,16 +450,13 @@ header,body
 אנה שניידר,"אלה שהוועדה תכין. צריך להכין את ההצעה תוך שבוע ואם יש גם הסתייגויות, אז לכלול אותן."
 דוד לב,"שבוע, אלא אם כן ועדת הכנסת מתירה יותר מזה."
 אנה שניידר,נכון. מועד אחר. זה יכול להיות גם פחות.
-"היו""ר יוסי כץ",
-לא ברור לי,"""תונח הצעת החוק בצרוף הסתייגויות על שולחן הכנסת לקריאה שניה - - -באיזה נוסח? ""בנוסח שהתקבל בקריאה הראשונה או בנוסח אחד שתכין הוועדה. אלא אם כן החליטה - - -"". למה המלים ""בצרוף הסתייגויות"" מופיעות בתחילת המשפט ולא בסופו?"
+"היו""ר יוסי כץ","לא ברור לי: ""תונח הצעת החוק בצרוף הסתייגויות על שולחן הכנסת לקריאה שניה - - -באיזה נוסח? ""בנוסח שהתקבל בקריאה הראשונה או בנוסח אחד שתכין הוועדה. אלא אם כן החליטה - - -"". למה המלים ""בצרוף הסתייגויות"" מופיעות בתחילת המשפט ולא בסופו?"
 אנה שניידר,אנחנו לקחנו את הנוסח מהסעיף שדן בקריאה שניה.
-"היו""ר יוסי כץ",
-אבל אחרי זה את כותבת,"""בנוסח שהתקבל בקריאה ראשונה""."
+"היו""ר יוסי כץ","אבל אחרי זה את כותבת: ""בנוסח שהתקבל בקריאה ראשונה""."
 ארבל אסטרחן,"היא צריכה להניח נוסח לקריאה שניה ושלישית. בעיקרון, כיוון שהוועדה לא רצתה את זה, אין לה נוסח, אומרים לה: קחי את הנוסח הכחול, המקורי."
 "היו""ר יוסי כץ",איפה ההסתייגויות?
 ארבל אסטרחן,"ואם את רוצה, תצרפי לו הסתייגויות."
-"היו""ר יוסי כץ",
-אז צריך להיות כתוב,"""תונח הצעת חוק על ידי היושב ראש בנוסח שהתקבל בקריאה הראשונה או בנוסח אחר שתכין הוועדה ובצרוף הסתייגויות - - -"
+"היו""ר יוסי כץ","אז צריך להיות כתוב: ""תונח הצעת חוק על ידי היושב ראש בנוסח שהתקבל בקריאה הראשונה או בנוסח אחר שתכין הוועדה ובצרוף הסתייגויות - - -"
 דוד לב,אם תהיינה.
 "היו""ר יוסי כץ",אם תהיינה.
 אנה שניידר,זה ברור.