प्राप्त गर्नुभएको छ न्यूराल नेटवर्कहरू अहिले सबै क्रोधहरू हुन्, विद्यार्थीहरू, अनुसन्धानकर्ताहरू, साथै व्यवसायहरू पनि समावेश छन्। अन्तिम पुनरुत्थान 800 को साथसाथै 90s हो, जबकि त्यहाँ थोरै वा कुनै विश्वव्यापी वेब र केही अनौंठो नेटवर्क उपकरणहरू थिए। वर्तमान पुनरुत्थान 200 2007 को सुरु भयो। ह्याकरको परिप्रेक्ष्यबाट, त्यहि उपकरणहरू र त्यसपछि अन्य स्रोतहरू चढाइरहेका थिए, र भविष्यका लागि हामीले के आशा गर्नुपर्दछ? म आफैंको लागि रास्पोबेरी पाईमा GPU राम्रो हुनेछ।
C0 को साथ साथै 90s को साथ
न्यूजल नेटवर्क 80s / ks 0s पुस्तकहरू साथै म्यागहरू
युवाहरूका लागि यो पढ्दछ कि हामी बुढो गीजरहरू विश्वव्यापी वेबसाइटको अगाडि कसरी केहि गर्न सफल भयो भन्ने बारे छक्क प .्यो, हार्डेपी पत्रिकाले हामीलाई नयाँ चीजहरूको सचेत गराउनमा ठूलो भूमिका खेल्यो। साथै यो यस्तो वैज्ञानिक अमेरिकी पत्रिकाको सेप्टेम्बर 1 1992 1992 2 को दिमागमा विशेष मुद्दा हो जुन मस्तिष्क हो जसले मलाई अनावश्यक नेटवर्कहरू प्रदान गर्दछ, दुबै जैविक र कृत्रिम र कृत्रिम रूपमा।
पछाडि पछाडि तपाईंको आफ्नै औचित्य नेटवर्कहरू स्क्र्याचबाट तपाईंको आफ्नै औचित्य नेटवर्कहरू लेख्ने विकल्प थियो जुन अन्यबाट स्रोत कोड अर्डर गर्नुहोस्, जुन तपाईं मेलमा फ्लपी डिस्केटमा प्राप्त गर्नुहुन्छ। मैले त्यो वैज्ञानिक अमेरिकी मुद्दाको अमाथुरी वैज्ञानिक वैज्ञानिक प्रतिष्ठानबाट फ्लपीलाई पनि आदेश दिएँ। तपाईं एक न्यूज नेटवर्क पुस्तकालय किन्न सक्नुहुन्छ जुन तपाईंको लागि सबै कम स्तर, जटिल गणित गर्दछ। त्यस्तै गरी एक निःशुल्क सिम्युलेटरले टोरोन्टो विश्वविद्यालयबाट जेरेसन भनिन्छ।
पुस्तक थोककारे विज्ञानमा नजर राख्दा कहिलेकाहीं कहिलेकाँहि पुस्तक तोड्यो। परम्परागतलमा परम्परागत दुई खण्डको अन्वेषणहरू थिए, रहन्ती, म्याकलल्याण्ड एट एट अल। मेरो रुचि निरंघामिलताका साथै आत्मनिर्भरताका साथै आत्म-संगठनात्मक नक्शा थियो: एक परिचय, उपयोगी छ यदि तपाईं Nefulot हात नियन्त्रणमा राख्नुहुन्छ।
त्यहाँ छोटो पाठ्यक्रमहरू साथै सम्मेलनहरू तपाईं उपस्थित हुन सक्नुहुन्छ। सेमिनार मैले 1 199 199 in मा भाग लिएका थिए ग्लोफ्री हिन्टन र टोरन्टो विश्वविद्यालयले तोडन्टो विश्वविद्यालयको साथसाथै अहिले पनि मैदानमा नेता बनाए। समयको सर्वश्रेष्ठको वार्षिक प्रतिष्ठित सेमिनार भनेको न्यंगर सूचना प्रशोधन प्रणाली सम्मेलन थियो, अझै आज कडा हुँदै गइरहेको छ।
र अन्तमा, म प्रकाशित कागजातका लागि पुस्तकालयहरूको कंघी गर्दै छु। मेरो सेमिनार पेपरका साथै कार्यक्रम ह्यान्डआउट्स, फोटोकपी लेखहरू, साथै त्यो अवधिबाट हस्तलेखन नोटहरू 3 “बाक्लो छ।
त्यसोभए कुरा तुलनात्मक रूपमा शान्त भयो। जबकि Neworal नेटवर्कले केहि अनुप्रयोगहरू फेला पारेजसेकै पत्ता लगाइसकेका थिए, उनीहरू आफ्नो hype साथ साथै विश्वको परिप्रेक्ष्यमा थिए, एक सीमित अनुसन्धान समुदायको बाहिर, तिनीहरूले पदार्थ बन्द गर्न बन्द गरे। क्रमिक सुधारहरूको रूपमा चलिरहेको रूपमा चीजहरू शान्त रह्यो, केही सफलताका साथ साथै प्रायः लगभग 200 2006 फेरि संसारमा विस्फोट भए।
वर्तमान आइपुग्छ
हामी यहाँ संक्षिप्त उपकरणहरूमा ध्यान केन्द्रित गर्दैछौं, ती भ्रष्टहरू मुख्य रूपमा थिए:
प्रशिक्षण नेटवर्कहरूको लागि नयाँ प्रविधिहरू जुन तीन वा चार भन्दा बढि तहहरू गहिरो हुँदै जान्छ, अब गहिरा न्यूरोर्लाइड नेटवर्कहरू भनिन्छ
GPUS (ग्राफिक्स प्रोसेसिंग एकाइहरू) प्रशिक्षणको गति बढाउन
नमूना डेटाको उपलब्ध नमूनाहरूको नमूनाहरूको ठूलो संख्यामा समावेश गर्दछ
न्यूज नेटवर्क फ्रेमवर्कर्स
त्यहाँ धेरै अन्य धेरै इजाजतपत्रको साथ नि: शुल्क डाउनलोडका लागि डाउनलोडका लागि डाउनलोडका लागि डाउनलोडका लागि डाउनलोडका लागि डाउनलोडका लागि डाउनलोडका लागि प्रस्ताव गरिएको छ, उनीहरू मध्ये धेरैले स्रोत फ्रेमवर्कहरू खोल्दछन्। धेरै जसो लोकप्रिय व्यक्तिहरूले तपाईंलाई GPUs मा आफ्ना न्यूजरावहरू चलाउन सक्षम छन्, साथै नेटवर्कका धेरै प्रकारका नेटवर्कहरूलाई समर्थन गर्न लचिलो पर्याप्त पनि सक्षम छन्।
यहाँ धेरै जसो लोकप्रिय छन्। तिनीहरू सबै fnn को बाहेक gpu समर्थन छ।
टेन्सरफ्लो
भाषाहरू: python, c ++ काममा छ
Tensorflowlow गुगलको पछिल्लो न्यूजल नेटवर्क फ्रेमवर्क हो। यो बहुव्याक नेटवर्कहरू, धेरै मेसिनहरूका साथै gपस वितरणको लागि डिजाइन गरिएको हो। यो कम-स्तर एक मान्न सकिन्छ, महान लचिलोपन, जे पनि लचिलोपना, जेरेड-स्तरहरू भन्दा किराहरू र TFLarn, दुबैको बारेमा कुरा गरे। जे होस्, तिनीहरू ट्रान्सफ्लोमा एकीकृत केराको संस्करण उत्पादन गर्न काम गर्दैछन्।
हामीले यसलाई ह्याकडलमा ह्याकमा यो देख्यौं कि यो हकडीमा ह्याकम र बियरको बोतल पहिचान रोबोटका साथै टेन्सफ्लो प्रयोग गर्न पनि एउटा परिचय छ।
तिरo
भाषाहरू: python
यो एक खुला स्रोत लाइब्रेरी हो किनकि बहु-आयामी एर्रेली संलग्न संख्यात्मक कम्प्युटिंग गर्न को लागी। यो मोन्ट्रियल विश्वविद्यालयबाट हो, र विन्डोज, लिनक्स र ओएस-x रूपमा र os-x मा चल्छ। आनोनो लामो समयदेखि भएको छ, 0.1 200 in मा रिलीज गरिएको छ।
गाई
भाषाहरू: आदेश लाइन, पाइथन, साथै म्यालेब
CA CAGE Berkleley Ai अनुसन्धान साथै छिमेकका योगदानकर्ताहरूले विकास गरेका छन्। मोडेलहरू एक सादा पाठ डेटामा परिभाषित गर्न सकिन्छ साथै एक आदेश रेखा उपकरण प्रयोग गरेर प्रशोधन गरिएको छ। त्यहाँ पनि पायथोनका साथै म्याटब ईन्टरफेसहरू पनि छन्। उदाहरण को लागी, तपाइँ एक सादा पाठ फाइलमा आफ्नो मोडेल परिभाषित गर्न सक्नुहुन्छ, एक सोलर भनिने दोस्रो प्लेन पाठ डेटा कसरी प्रशिक्षण दिने भन्ने बारे विवरण दिनुहोस्, साथै यसलाई क्यान गर्न यी क्याप गर्न पास गर्नुहोस्fe command line tool which will then train a neural network. You can then load this trained net using a Python program as well as use it to do something, image classification for example.
CNTK
Languages: Python, C++, C#
This is the Microsoft Cognitive Toolkit (CNTK) as well as runs on Windows and Linux. They’re currently working on a version to be used with Keras.
Keras
भाषाहरू: python
Written in Python, Keras uses either TensorFlow or Theano underneath, making it easier to use those frameworks. There are likewise plans to support CNTK as well. work is underway to integrate Keras into TensorFlow resulting in a separate TensorFlow-only version of Keras.
TF Learn
भाषाहरू: python
Like Keras, this is a high-level library built on top of TensorFlow.
FANN
Languages: supports over 15 languages, no GPU support
This is a high-level open source library written in C. It’s limited to fully connected as well as sparsely connected neural networks. However, it’s been popular over the years, as well as has even been included in Linux distributions. It’s recently shown up here on Hackaday in a robot that learned to walk using reinforcement learning, a machine learning technique that often makes use of neural networks.
Torch
Languages: Lua
Open source library written in C. Interestingly, they say on the front page of their website that Torch is embeddable, with ports to iOS, Andoid as well as FPGA backends.
PyTorch
भाषाहरू: python
PyTorch is relatively new, their website says it’s in early-release beta, however there seems to be a lot interest in it. It runs on Linux and OS-X as well as uses Torch underneath.
There are no question others that I’ve missed. If you have a particular preferred that’s not here then please let us know in the comments.
Which one should you use? Unless the programming language or OS is an issue then one more factor to keep in mind is your skill level. If you’re uncomfortable with math or don’t want to dig deeply into the neural network’s nuances then chose a high-level one. in that case, stay away from TensorFlow, where you have to learn more about the API than Kera, TFLearn or the other high-level ones. frameworks that highlight their math functionality usually require you to do more work to produce the network. one more factor is whether or not you’ll be doing fundamental research. A high-level framework may not enable you to gain access to the innards enough to start making crazy networks, perhaps with connections spanning multiple layers or within layers, as well as with data flowing in all directions.
Online Services
Are you you’re looking to add something a neural network would offer to your hack however don’t want to take the time to learn the intricacies of neural networks? For that there are services offered by connecting your hack to the internet.
We’ve seen countless examples making use of Amazon’s Alexa for voice recognition. Google likewise has its Cloud machine learning services which includes vision as well as speech. Its vision service have shown up here using Raspberry Pi’s for candy sorting as well as reading human emotions. The Wekinator is aimed at artists as well as musicians that we’ve seen used to train a neural network to respond to various gestures for turning things on an off around the house, as well as for making a virtual world’s tiniest violin. Not to be left out, Microsoft likewise has its Cognitive services APIs, including: vision, speech, language as well as others.
GPUs as well as TPUs
Iterating through a neural network
Training a neural network requires iterating through the neural network, forward as well as then backward, each time improving the network’s accuracy. Up to a point, the more iterations you can do, the much better the final accuracy will be when you stop. The number of iterations might be in the hundreds or even thousands. With 1980s as well as 1990s computers, achieving enough iterations might take an unacceptable amount of time. According to the article, Deep learning in Neural Networks: An Overview, in 2004 an increase of 20 times the speed was achieved with a GPU for a fully connected neural network. In 2006 a 4 times increase was achieved for a convolutional neural network. By 2010, increases were as much as 50 times faster when comparing training on a CPU versus a GPU. As a result, accuracies were much higher.
Nvidia Titan Xp graphics card. image Credit: Nvidia
How do GPUs help? A huge part of training a neural network involves doing matrix multiplication, something which is done much faster on a GPU than on a CPU. Nvidia, a leader in making graphics cards and GPUs, created an API called CUDA which is used by neural network software to make use of the GPU. We point this out since you’ll see the term CUDA a lot. With the spread of deep learning, Nvidia has added more APIs, including CuDNN (CUDA for Deep Neural Networks), a library of finely tuned neural network primitives, as well as one more term you’ll see.
Nviइपीसँग यसको आफ्नै एकल बोर्ड कम्प्युटर हो, जेटसन TX2, सेल्फ-ड्राइभिंग कारहरूका लागि ब्रेन हुन डिजाइन गरिएको, स्वामी-स्केपिंग ड्रोनहरू, साथै त्यस्तै। यद्यपि हाम्रो [ब्रायन बेन्चोफको रूपमा) ले औंल्याएको छ, मूल्य पोइन्ट विशिष्ट ह्याकरको लागि थोरै उच्च छ।
गुगलले पनि यस प्रकारले यसको तरण प्रोसेसिंग एकाई (TPU) को प्रकारमा आफ्नै हार्डवेयर यात्रामा काम गरिरहेको छ। तपाईंले गुगलको ढाँचामा समानता याद गर्नु भएको छ, माथिको, सैताफ्लो। टेन्सरफ्लोले टेशर्सहरूको भारी प्रयोग गर्दछ (एकल र सफ्टवेयरमा बहु-आयामी को लागी)। Togle को कागज TPU मा यो Nupu मा यो Numor नेटवर्क को अनुमान को लागी डिजाइन गरिएको छ। अनुमानले न्यूरोल नेटवर्कहरूलाई प्रशिक्षण दिन होइन तर यसलाई प्रशिक्षित भनिसकेको पछि न्यूज नेटवर्क प्रयोग गर्न होईन। हामीले यसलाई कुनै प्रकारको फ्रेमवर्कले प्रयोग गरेको देखेका छैनौं यद्यपि यो दिमागमा राख्नुपर्ने कुरा हो।
अन्य व्यक्तिको हार्डवेयर प्रयोग गर्दै
के तपाइँसँग एक अप्रमाणित नेटवर्क छ कि ट्रेन गर्न धेरै समय लिन सक्दछ तर एक समर्थित GPU छैन, वा तपाइँको स्रोतहरु लाई बाँध्न चाहनुहुन्न? त्यस परिस्थितिमा त्यहाँ हार्डवेयर छ जुन अन्य मेशिनमा इन्टरनेटमा पहुँच योग्य छ। एउटा पनि फ्यरडबल हो जुन एक व्यक्तिको लागि, पैसाको लागत मात्र मासिक भुक्तानीको साथ मात्र पैसा हुन्छ। एक अर्को अमेजन EC2 हो।
डाटासेट
लेबल गरिएको डाटाको साथ न्यूजल नेटवर्क प्रशिक्षण
हामीले भनेका छौं कि न्यूज नेटवर्कमा एक सफलताहरू मध्ये एक हजारौंमा ठूला नमूनाहरूको उपलब्धता थियो। एक पर्यवेक्षक स्टिग्रेट एल्गोरिथ्स प्रयोग गरेर नेटवर्क नेटवर्कमा डाटा नेटवर्कमा डाटा दिनु समावेश छ जुन पनि भन्दैन् कि अपेक्षित आउटपुट हुनुपर्दछ। त्यस अवस्थामा डाटा पनि लेबल गरिएको छ। यदि तपाइँ नेटवर्कको इनपुटमा घोडाको छवि दिनुहुन्छ, साथै यो एक चीता जस्तो देखिन्छ भने, त्यसो भए यो जान्नु आवश्यक छ कि यदि अधिक प्रशिक्षण आवश्यक छ भने। अपेक्षित आउटपुट भनिन्छ, साथै डाटा डाटा ‘लेबल गरिएको डाटा’ हो।
धेरै प्रकारका डाटासेटहरू प्रशिक्षण उद्देश्यका लागि अनलाइन प्रस्ताव गरिन्छ। Mnst एक हस्तलेखन चरित्र मान्यताको लागि त्यस्तै हो। छविनेट र CIFarar लेबल छविहरूको दुई फरक डाटासेटहरू हुन्। धेरै धेरै यस विकिपेडिया पृष्ठमा सूचीबद्ध छन्। माथिका धेरै फ्रेमवर्कहरूमा ट्यूटोरियलहरू छन् जसमा आवश्यक डाटासेटहरू समावेश छन्।
यो भन्न को लागी तपाइँ पूर्ण रूपमा एक सम्मानजनक सटीकता प्राप्त गर्न एक ठूलो datest आवश्यक छ। हिड्दै गरेको रोबोट हामीले पहिले उल्लेख गरेका छौं कि एफएनएन फ्रेमवर्क प्रयोग गरिएको सेन्स मोटर ओभरले यसको प्रशिक्षण डाटाको रूपमा प्रयोग गर्यो।
अन्य संसाधन
Of0 को साथै 90 0 को दशकमा विपरीत, जबकि तपाईं अझै पनि Nural नेटवर्कहरूको बारेमा हार्डकोपी पुस्तकहरू किन्न सक्नुहुन्छ, त्यहाँ असंख्य व्यक्तिहरु छन्। मैले आनन्द उठाएको दुई अनलाइन पुस्तकहरू मिट प्रेसहरू साथै न्यूराल नेटवर्कहरू र गहिरो शिक्षा द्वारा गहिरो शिक्षा हुन्। माथिका सूचीबद्ध फ्रेमवर्क सबैसँग ट्यूटोरियलहरू छन् मद्दत गर्न। र त्यसपछि त्यहाँ असंख्य अन्य वेबसाइटहरू साथै तपाईंले खोजी गर्नुभएको कुनै प्रकारको शीर्षकको कुनै पनि प्रकारको यूट्यूबबिजहरू छन्। म रेकर्ड गरिएको व्यायामहरूको साथसाथै सेमिनार वार्ता धेरै उपयोगी भए पनि।
पुर्खा
Gpu संग rpopbaybaybaybays pi 7 gpu
निस्सन्देह भविष्यमा थप फ्रेमवर्कहरू आउँदैछन्।
हामीले लामो समयदेखि विशेष पंक्षी चिप्स र बजारमा बोर्डहरू देख्यौं तर कसैले पनि 40 0 को दशकमा पनि फेला पारेको छैन। जे होस्, ती वास्तविक विकास क्षेत्रको सेवाको लागि विशेष रूपमा डिजाइन गरिएको छैन, अनावश्यक नेटवर्क सफ्टवेयर जुन सबैको काम गर्दैछ। Gpus ले त्यो बजार सेवा गर्दछ। छविका लाखौं जडानहरू साथै आवाजका साथै आवाजको साथै सानो र सानापालनको साथसाथै पनि उनीहरूको सानो र प्रोसेसर्सहरूको लागि आफ्नो क्षमताका साथै साना उपभोक्ता उपकरणहरूको आवश्यकता पर्दछ जुन अधिक gpus वा प्रोसेसर्सहरूको आवश्यकता पर्दछ। एक रास्पबेरी पाई वा आर्डुनो बोर्डमा एक नयाँ तत्व भएकोमा अन्त्य गर्न सकिन्छ। यद्यपि त्यहाँ प्रशोधन हुने सम्भावना छ कि यसको सट्टामा अनलाइन सेवा रहनेछ। सम्पादन गर्नुहोस्: यो बाहिर जान्छ त्यहाँ रास्पबेरी पानीमा GPU छ – तलका टिप्पणीहरू हेर्नुहोस्। यसको मतलब यो होइन माथिका सबै फ्रेमवर्कले यसलाई प्रयोग गर्दछ। उदाहरण को लागी, टेन्टोफ्लो समर्थन Nvidia cuda कार्ड मात्र समर्थन गर्दछ। जहाँसम्म तपाईं अझै पनि GPU आफ्नै कस्टम न्यूज नेटवर्क कोडको लागि GPU प्रयोग गर्न सक्नुहुनेछ। विभिन्न लिंकहरू पनि यसका लागि टिप्पणीहरूमा छन्।
There is already competition for GPUs from ASICs like the TPU and it’s possible we’ll see more of those, possibly ousting GPUs from neural networks altogether.
हाम्रो नयाँ कम्प्युटरको रूपमा