main.py

import pandas as pd
import re

# Загрузка данных (замените 'your_file.csv' на ваш путь)
df = pd.read_csv('output.csv', sep=',')

# 1. Округляем зарплату до тысяч (до ближайшего)
df['Зарплата'] = df['Зарплата'].apply(lambda x: round(x, -3))

# 2. Заполняем пропущенные уровни позиции (наиболее частым уровнем или предыдущим)
df['Уровень позиции'].fillna(df.groupby('Название должности')['Уровень позиции'].transform(lambda x: x.mode()[0] if not x.mode().empty else None), inplace=True)
df['Уровень позиции'].fillna(method='ffill', inplace=True)

# Список «нормальных» названий должностей (можно расширять по необходимости)
KEYWORDS = [
    'программист', 'разработчик', 'руководитель', 'аналитик', 'бизнес-аналитик',
    'инженер', 'тестировщик', 'архитектор', 'контент-менеджер', 'консультант',
    'методолог', 'специалист', 'администратор', 'менеджер', 'тимлид',
    'инженер-программист', 'эксперт', 'стажер', 'консультант-разработчик',
    'программист-консультант', 'консультант-менеджер', 'эксперт-программист',
    'методолог-аналитик', 'qa-инженер', 'эксперт-архитектор', 'архитектор-разработчик'
]

def clean_job_title(title):
    # Убираем спецсимволы (оставляем только буквы и пробелы)
    cleaned = re.sub(r'[^a-zA-Zа-яА-ЯёЁ\s]', '', title)
    words = cleaned.split()

    if len(words) > 1:  # Если строка состоит из нескольких слов
        for kw in KEYWORDS:
            if kw.lower() in cleaned.lower():  # Если ключевое слово найдено в строке
                return kw  # Возвращаем найденное ключевое слово
        return None  # Если ключевое слово не найдено, удаляем всю строку

    return None  # Если строка состоит из одного слова, удаляем её

# 3. Чистим названия должностей
df['Название должности'] = df['Название должности'].apply(lambda x: clean_job_title(x) if isinstance(x, str) else x)

# Удаляем строки, где после очистки название должности пропало
df = df.dropna(subset=['Название должности'])

# Сохраняем обработанный файл
df.to_csv('cleaned_file_6.csv', index=False, sep=',')