עדכון רשימה וקובץ מיזוג נתונים

machine-learn/model_name.txt

@@ -1 +1 @@
-custom_ner_model29+23.4-1git
+custom_ner_model30git

machine-learn/scrape_data/level0/Gemini-synthetic-v2/.gitignore

@@ -0,0 +1 @@
+song-tags-output/

machine-learn/scrape_data/level0/Gemini-synthetic-v2/2.1merge_jsons.py

@@ -0,0 +1,28 @@
+import json
+import glob
+import zipfile
+
+# הגדר תיקייה
+zip_folder = "song-tags-output"  # תיקייה שבה נמצאים קבצי ה-ZIP
+output_file = "tagged_songs.json"  # שם קובץ JSON הממוזג
+
+# רשימה לאחסון הנתונים מכל הקבצים
+merged_data = []
+
+# קריאת כל קבצי ZIP בתיקייה
+for zip_path in glob.glob(f"{zip_folder}/*.zip"):
+    with zipfile.ZipFile(zip_path, 'r') as zip_ref:
+        # מציאת כל הקבצים עם סיומת .json בתוך קובץ ה-ZIP
+        json_files = [f for f in zip_ref.namelist() if f.endswith('.json')]
+        for json_file in json_files:
+            # קריאת תוכן קובץ JSON ישירות מתוך ה-ZIP
+            with zip_ref.open(json_file) as f:
+                data = json.load(f)
+                merged_data.extend(data)  # הוספת הנתונים לרשימה הממוזגת
+
+# כתיבת הנתונים הממוזגים לקובץ JSON חדש
+with open(output_file, 'w', encoding='utf-8') as f:
+    json.dump(merged_data, f, ensure_ascii=False, indent=4)
+
+# הודעה על הצלחה
+print(f"כל הנתונים מקבצי ה-ZIP מוזגו לקובץ {output_file}")

machine-learn/scrape_data/level0/Gemini-synthetic-v2/5-creating_model.py

@@ -129,9 +129,9 @@ def main():
                 logger.info(f"Early stopping at iteration {itn} due to no improvement.")
                 break
 
-        with open(r"C:\Users\me\Documents\GitHub\Singles-Sorter\machine-learn\model_name.txt", 'r', encoding='utf-8') as f:
-            model_name = f.read().strip()
-            logger.info(f'Final Model Name: {model_name}')
+
+        model_name = "custom_ner_model30git"
+        logger.info(f'Final Model Name: {model_name}')
 
         try:
             with open('iteration_data.json', 'w', encoding='utf-8') as f: