/ai/ – pfpmd AI laboratory


9ab0a9ab0a3cc8ea445e3aa0c5f1a192932eb – ``Искусственные нейросети''

@c2ff72b8b4064a6689789e0194729c7f Anonymous 2020-03-02 08:01:21
Тред про искусственные нейросети.
@3155c8b257cc4303a33eabbbfede7c53 Anonymous 2020-03-02 08:04:12
Начну изучение почти с нуля. Свои тупые или не очень вопросы буду тут задавать, возможно потом сам буду на них отвечать, если найду ответ.
@cac0cabedefb4629ad3801d40ed601ea Anonymous 2020-03-02 08:06:26
Сначала, очевидно, нужно найти книгу хорошую.
@2352f003131c4aae95cca08034135293 Anonymous 2020-03-02 08:24:21
Вот вроде бы для начинающих книга хорошая Make Your Own Neural Network. Скачать. Попробую с неё начать. Но уже понятно, что надо будет после неё более серьёзные книги почитать.
@0437574df4e14ea8986b8f85766f2c19 Anonymous 2020-03-02 08:25:28
Обосрался с разметкой.
Make Your Own Neural Network.
@80fedc25cfa44373842024d72d5cff51 Anonymous 2020-03-02 08:25:53
@22083c56ca22442d86c82b0c0b913918 Anonymous 2020-03-02 09:26:15
Цитата из книги:
> Why not try to build artificial brains by copying how real biological brains worked?
Но ведь я слышал, что искусственные нейросети работают нихуя не так, как реальные. Кажется кто-то пиздит.
@519ddf322a1043e0bdf300caec7c98ad Anonymous 2020-03-02 11:35:45
AND и OR можно определить через линейный классификатор. Интересно, не задумывался об этом раньше. Но это как-то странно, ведь классификатор это явно более сложное понятие. Это всё равно что сказать, что точка - это место соприкосновения двух шаров. Ну, да, это верно, но блядь никто так в здравом уме не будет определять что такое точка.
@3f4f52a2b89641328487cbc554f16641 Anonymous 2020-03-02 11:41:56
Хотя, это таки не определение, а обучение, ладно.
@05651cc3caaf45168cd81bd1194718a8 Anonymous 2020-03-02 11:50:44
> we use multiple classifiers working together. That’s an idea central to neural networks.
Понятно, т.е. нейроки получается это всего-лишь множество линий, разделяющих говно по своим загонам. Пока не верится.
@9ed9f9c1f6fa4d10a5fd9dc7cf6c12cc Anonymous 2020-03-02 11:53:52
А если трёхмерное пространство у нас? То что, плоскости вместо линий будут? А если n-мерное пространство, то что, гиперплоскости? Не понятно.
@391cdb846577449a871729c1232d6ed2 Anonymous 2020-03-02 12:05:05
> But that worm is able to do some fairly useful tasks that traditional computer programs of
much larger size would struggle to do.
Интересно что там червь может сделать такого интересного? Насрать под себя и копашиться в говне? Непонятно.
@7e4c33c23b0b4b1bb25b47e2e24082f2 Anonymous 2020-03-02 12:19:16
> A biological neuron doesn’t produce an output that is simply a simple linear function of the input.
Ага, значит наебали ранее, нейронки - это не линии.
>Observations suggest that neurons don’t react readily, but instead suppress the input until it has grown so large that it triggers an output.
Понятно, короче, нейрон - это как водопровод, в котором есть вентиль на пружинке. Пока из входных труб напор не достаточный - вентиль не может открыться.
@4f92604d58ed49d3842cdec7a5e63fce Anonymous 2020-03-02 12:29:36
О, блядь, про сигмоид пошло. А я слышал, что уже вроде как не юзают сигмоид.
@41987f50d1b84d3ba5bf4dd45847d760 Anonymous 2020-03-02 12:35:18
>The first thing to realise is that real biological neurons take many inputs, not just one.
Сколько конкретно? В среднем. Интересно же.
@bcd610f2b0404932925030845487dc90 Anonymous 2020-03-02 12:41:39
@41987@41987f50d1b84d3ba5bf4dd45847d760 тут https://www.sciencedirect.com/topics/neuroscience/dendrite говорят всего 5-7. Я думал больше будет.
Ещё тут какая-то таблица https://synapseweb.clm.utexas.edu/dimensions-dendrites
Или надо синапсы считать как отдельные инпуты? Непонятно.
@1325173e86584d6db5e4f0e5f0747455 Anonymous 2020-03-02 13:02:58
> It means that as the network learns to improve its outputs by refining the link weights inside the network, some weights become zero or close to zero.
Заебись, но не увеличит ли это время обучения если мы будем полностью соединять все ноды соседних слоёв?
И почему блядь только соседние слои должны быть соединены, какого хуя, в чём причина? Почему нейрон с 1го слоя не может быть соединён с нейроном с 3го слоя? Непонятно.
@0677e4aa07a8432086a84ddd16c8c1c4 Anonymous 2020-03-02 15:06:28
И почему нейроны с одного слоя не могут иметь связей между собой?
@e21db3d767e245e3bcc02c7fb16e0ac5 Anonymous 2020-03-02 15:14:27
Я догадываюсь, что так наверное просто проще вычисления делать, но блядь, а вдруг если соединить нейроны с разных слоев, то результаты внезапно лучше будут?
@86e507583eed474bb5e0045ab2c15c41 Anonymous 2020-03-02 15:16:43
точнее через слой или с одного слоя
@c98ab789997144ae9718fa59132ce12f Anonymous 2020-03-02 16:47:18
Тогда просто слои уже будут другие.
@de9e7960c0074c588d080655a02ce1d7 Anonymous 2020-03-02 16:51:58
Хотя, с другой стороны, сеть это же не произвольный DAG.
@516ec724334a4a7a8244444ed64bf126 Anonymous 2020-03-03 06:18:46
@c98ab@c98ab789997144ae9718fa59132ce12f Мне кажется тогда просто уже не будет слоёв.
@f9484f8b751e47a2a670f0f6c4269609 Anonymous 2020-03-03 06:20:29
@de9e7@de9e7960c0074c588d080655a02ce1d7 а почему нет? Я вижу только причину в том, что когда у тебя всё красиво поделено на слои, то тогда выходные значения легко считаются как произведение матриц.
@e1b64ca2108140d695ba16f6736d03bd Anonymous 2020-03-03 06:27:03
Вообще, в этой книге пока речь идёт только про многослойный перцептрон. Надеюсь только им она не ограничивается. Хотя, похуй, тогда просто другую надо будет читать. Возможно есть другие архитектуры, где всё не просто поделено на слои, где связи сложнее намного.
@ecc3cfa6f91c4979a6b5cff5896965e1 Anonymous 2020-03-03 06:51:48
@f9484@f9484f8b751e47a2a670f0f6c4269609 точнее, как функция активации от произведения.
@1a0f2fe1db9b4ef7a769593511511949 Anonymous 2020-03-03 08:40:31
Блядь, в этой книге ошибок много, он путает веса, как на графике, так и в тексте. Хотя, может это специально. Я помню где-то читал, что небольшие очевидные ошибки способствуют лучшему усвоению.
@5b92e6c9a0684f9889f20a46fc3f7991 Anonymous 2020-03-03 09:20:53
Backpropagation хорошо объясняется, тут вообще всё просто, никаких вопрсов не возникает. Просто проталкиваем ошибки через слои в обратном направлении пропорционально весам.
@f21b63da94184395bc4e9b1325edf1ce Anonymous 2020-03-03 10:51:49
Почему-то он в Backpropagating Errors with Matrix Multiplication не разделил на сумму весов. Опять ошибка, это начинает заёбывать. Как может быть столько положительных отзывов?
@d7c3e945070f47519893663274440a6b Anonymous 2020-03-03 11:08:19
@de9e7@de9e7960c0074c588d080655a02ce1d7 таки произвольный:
https://en.wikipedia.org/wiki/Feedforward_neural_network
> More generally, any directed acyclic graph may be used for a feedforward network, with some nodes (with no parents) designated as inputs, and some nodes (with no children) designated as outputs.

Короче, я понял, что эта книга говно похоже.
@e8008c4adb514b2b8e9a1dbbad71ab9b Anonymous 2020-03-03 12:00:28
Всё, эту книгу нахуй, она хуёвая. Попробуем эту http://www.deeplearningbook.org/ Скачать
@084cac2642b445bcb20971598c3996ac Anonymous 2020-03-03 15:16:48
Хм, интересно, cybernetics - это оказывается просто другое название было для deep learning.
@db3f7ee7736a4ea28d09729c1fe23a08 Anonymous 2020-03-03 17:29:01
>As of 2016, a rough rule of thumb is that a supervised deep learning algorithm will generally achieve acceptable performance with around 5,000 labeled examples per category
Дохуя как-то. Человеку явно меньше надо. Очевидно, что ещё пиздец как далеко до human level обучения.
@834470e44eef444391c1584b397566e7 Anonymous 2020-03-04 06:21:34
>In modern neural networks, the default recommendation is to use the rectified linear unit, or ReLU (Jarrettet al., 2009; Nair and Hinton, 2010; Glorot et al., 2011a), defined by the activation function g(z) = max{0, z}, depicted in figure 6.3.
Вот, да, а не какой не сигмоид ебаный.
@83fe069338e748459b0bd3c60f10337b Anonymous 2020-03-05 09:36:45
Сука, в этой книге тоже есть ошибки. Например, на странице 167 он забыл протраспонировать матрицу для f(x). Хотя в следующем предложении у него там уже правильно говорится, что f(x) = x^T w'.
@9a5014d01b6f4cfe9ca19c9fd64009e5 Anonymous 2020-03-05 09:43:58
Но зато он хоть объяснил нахуя вообще нужна функция активации, что без неё модель всё равно будет линейной и XOR не получится выразить. Хотя, это и так очевидно.
@859a4cd22f0f4341ae7ebb33bf18fe4d Anonymous 2020-03-05 11:47:14
>For feedforward neural networks, it is important to initialize all weights to small random values. The biases may be initialized to zero or to small positive values.
Не понял почему это важно, но ладно, надо запомнить.
@e60433d734cf49a98a253750f05cfd5e Anonymous 2020-03-05 11:55:07
> For the moment, it suffices to understand that the training algorithm is almost always based on using the gradient to descend the cost function in one way or another.
Грустно как-то. Градиентный спуск же не единтсвенный метод, что существует. Почему не какой-нибудь simulated annealing? Хотя, "almost always", а не "always".
@e00d95fcfcd14c68a82c8221d5151567 Anonymous 2020-03-05 12:02:49
@55e5b3bc3db44d6abd29ab87d9c4e261 Anonymous 2020-03-05 12:42:57
@e00d9@e00d95fcfcd14c68a82c8221d5151567
> There is the Decoupled Neural Interfaces (DNI) from Google Deepmind. Instead of using backpropagation, it uses another set of neural networks to predict how to update the parameters
Вот это круто. Действительно, почему бы сами нейронки не использовать для задачи обучения.
@b98df067784b401e9d522c76f6eb10c9 Anonymous 2020-03-11 10:40:56