скачать книгу бесплатно
```
Пример с использованием Keras и TensorFlow
Подготовка данных
```python
import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.utils import to_categorical
# Загрузка данных MNIST
(X_train, y_train), (X_test, y_test) = mnist.load_data()
X_train = X_train.reshape((X_train.shape[0], 28, 28, 1)).astype('float32') / 255
X_test = X_test.reshape((X_test.shape[0], 28, 28, 1)).astype('float32') / 255
# Преобразование меток в категориальный формат
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)
```
Построение моделей
```python
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
def create_model():
model = Sequential([
Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
MaxPooling2D((2, 2)),
Conv2D(64, (3, 3), activation='relu'),
MaxPooling2D((2, 2)),
Flatten(),
Dense(64, activation='relu'),
Dense(10, activation='softmax')
])
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
return model
# Создание и обучение нескольких моделей
models = [create_model() for _ in range(3)]
for model in models:
model.fit(X_train, y_train, epochs=5, batch_size=64, validation_split=0.1)
```
Ансамблирование моделей
```python
import numpy as np
def ensemble_predict(models, X):
predictions = [model.predict(X) for model in models]
return np.mean(predictions, axis=0)
# Прогнозирование и оценка точности
y_pred = ensemble_predict(models, X_test)
y_pred_classes = np.argmax(y_pred, axis=1)
y_test_classes = np.argmax(y_test, axis=1)
accuracy = np.mean(y_pred_classes == y_test_classes)
print(f'Точность ансамблевой модели: {accuracy:.4f}')
```
Пояснение:
1. Bagging: Random Forest:
– Обучение множества решающих деревьев на различных подвыборках данных и объединение их предсказаний.
2. Boosting: Gradient Boosting:
– Построение серии моделей, каждая из которых исправляет ошибки предыдущей.
3. Voting Classifier:
– Объединение предсказаний нескольких моделей с использованием голосования.
4. Ансамбль с использованием Keras:
– Создание и обучение нескольких моделей нейронных сетей.
– Объединение их предсказаний путем усреднения.
Ансамблевые методы позволяют повысить точность предсказаний за счет комбинирования нескольких моделей, что снижает вероятность ошибки и повышает устойчивость модели к различным типам данных.
11. Классификация новостных статей с использованием RNN
– Задача: Категоризация текстов новостей.
Для классификации новостных статей с использованием рекуррентных нейронных сетей (RNN) используются модели, способные учитывать последовательный характер текстовой информации. В данном случае мы рассмотрим задачу категоризации текстов новостей, где каждая статья должна быть отнесена к определенной категории на основе её содержания.
Построение модели RNN для классификации новостных статей
1. Подготовка данных
Прежде чем начать построение модели, необходимо подготовить данные:
– Загрузить и предобработать тексты новостных статей.
– Преобразовать тексты в числовой формат, который может быть обработан моделью RNN.
– Разделить данные на обучающую и тестовую выборки.
2. Построение модели RNN
Для классификации текстов можно использовать следующую архитектуру RNN:
– Embedding Layer: Преобразует слова в векторные представления.
– RNN Layer (LSTM или GRU): Обрабатывает последовательность слов, учитывая их контекст.
– Полносвязные слои: Используются для объединения выходов RNN и предсказания категории новости.
Пример кода на Keras для построения модели:
```python
import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Embedding, Dense, SpatialDropout1D
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
from sklearn.model_selection import train_test_split
# Подготовка данных
# Пример загрузки данных (здесь используется вымышленный пример)
texts = ["новость 1 текст", "новость 2 текст", …] # список текстов новостей
labels = [0, 1, …] # метки классов для каждой новости
# Токенизация текстов
max_features = 10000 # максимальное количество слов в словаре
tokenizer = Tokenizer(num_words=max_features)
tokenizer.fit_on_texts(texts)
sequences = tokenizer.texts_to_sequences(texts)
# Паддинг последовательностей, чтобы все они имели одинаковую длину
maxlen = 200 # максимальная длина текста (количество слов в новости)
X = pad_sequences(sequences, maxlen=maxlen)
y = np.array(labels)
# Разделение на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Построение модели RNN
model = Sequential()
model.add(Embedding(max_features, 128, input_length=maxlen))
