python爬課程表
1. 《超級課程表》這個軟體,知道吧它是怎麼實現介面的
一共有三個方案。
第一個方案是直接去找國家教育局(省級,或者國家級)。他們有所有大學的資料,並提供介面。這是最方便的。
第二個方案是一個一個學校的去談,一千多所學校。費時,費力。
介面是一樣的,這和天氣的介面類似的。每個學校,就像每個城市一樣,有自己的代碼。你填高考志願的時候不就是用到了呢。
第三個方案是爬蟲,但是這方案有風險,因為可能會被學校起訴(涉及信息安全問題),超級課程表一開始就是這樣乾的,現在不知道還用不用。
2. 如何用python錄入課程表至谷歌日歷
用谷歌瀏覽器打開谷歌日歷,按F12打開控制台,增加一個日歷項目,分析請求。
去看內urllib,urllib2的文檔,了解如何用容py發送網路請求。
將「每周的課程」處理成谷歌日歷的請求,用urllib2發送。
如何在碰到問題時去網上搜?
把py基礎學好,把常用庫是具體做什麼的記下來,有個印象就行,用到的時候再查文檔。
比如谷歌日歷,是個web app,第一時間聯想到py的urllib2庫可以用來網路通信,這就行了。
3. python如何爬取全校課表
使用requests模塊訪問學校網站(有課表的那個鏈接)。
獲取html
解析html獲取裡面的數據
清洗數據,製作成你想要的格式。
4. 超級課程表違法嗎,它通過爬蟲技術實現,
算違法。首先它盈利了,利用數據漏洞(校務處信息沒有加密)獲取其他平台的信息資料。你看,假如qq利用抓包的方式,把淘寶的商品數據放到自己的平台上牟利,這不犯法?
5. 求python大神幫忙!! 我剛剛開始自學python,現在在嘗試著做一個課程表,可是我不知道做
if day == 'M':
@ 比較符號是 ==;
@ 字元串要用引號引起來;
@ if等語句的最後要有分號;
6. 如何用python,html,資料庫建一個登陸管理系統
python的django框架用起來簡單又可以滿足你的要求哦,可以試試
7. python培訓課程安排哪個好
你是現在來已經了解了好幾個源學校嗎?還是還沒有開始了解?如果是想了解培訓學校的話,可以從多方面的考察:1 師資團隊,資歷如何,授課如何;2 課程內容更新程度,是否隨技術發展更新;3 教學環境如何;4 學員就業情況;5 口碑如何。可以看學校的視頻或者去學校現場去試聽,親自感受下,也可以跟在讀學員或者老學員了解。每個人的基本情況不一樣,每個人對於一件事的理解也不同,但是根據自己的實際情況選擇適合自己的,這個是很重要的。
8. 我是一個Python初學者,我想從網頁上扒取課表信息,我應該學習些什麼能少走一點彎路。
1. python基本語法
2. html基本語法
3. python爬蟲
如果只是完成特定功能,基本掌握這些就可以應付了,這些在網課中都能找到。
分析一些網上的爬蟲代碼也很有幫助。
9. python 爬蟲超級課程表話題時出錯,請問各位大神如何解決
這個有主要有兩種可能:
你生成的url不正確,這個你可以列印一下,找一個報503的url直接在url里訪問,看看是否有問題。
亞馬遜判斷出你是爬蟲,給禁止返回數據了,這個就需要偽裝一下你的爬蟲,比如修改爬取間隔,隨機使用http header,或者使用代理ip。
import urllib
if __name__ == '__main__':
enc = r"%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"
string = urllib.unquote(enc).decode('gb2312')
print type(string), string
這是python2的,簡單點。只能幫這么多了。
10. 如何學習 Python GUI 編程
我始終認為,對一個初學者來說,IT界的技術風潮是不可以追趕的,而且也沒有能力去追趕。我時常看見自己的DDMM們把課本扔了,去賣些價格不菲的諸如C#, VB.Net 這樣的大部頭,這讓我感到非常痛心。而許多搞不清指針是咋回事的BBS站友眉飛色舞的討論C#裡面可以不用指針等等則讓我覺得好笑。C#就象當年的ASP一樣,「忽如一夜春風來,千樹萬樹梨花開」,結果許多學校的信息學院成了「Web 學院」。96,97級的不少大學生都去做Web 了。當然我沒有任何歧視某一行業的意識。我只是覺得如果他們把追趕這些時髦技術的時間多花一點在基礎的課程上應該是可以走得更遠的。 幾個誤區 初學者對C#風潮的追趕其實也只是學習過程中經常遇到的幾個誤區之一。我將用一些實際的例子來說明這些現象,你可以按部就班的看看自己是不是屬於其中的一種或者幾種: 認為計算機技術等於編程技術: 有些人即使沒有這個想法,在潛意識中也有這樣的沖動。讓我奇怪的是,許多信息學院的學生也有這樣的念頭。認為計算機專業就是編程專業,與編程無關的,或者不太相關的課程他統統都不管,極端的學生只要書上沒帶「編程」兩個字他就不看。 其實編程只是計算機技術應用過程中一種復雜性最低的勞動,這就是為什麼IT業最底層的人是程序員(CODER)。計算機技術包括了多媒體,計算機網路,人工智慧,模式識別,管理信息系統等等這些方面。編程工作只是在這些具體技術在理論研究或者工程實踐的過程中表達演算法的過程。編程的人不一定對計算機技術的了解就一定很高。而一個有趣的現象是,不少大師級的計算機技術研究者是不懂編程的。網上的炒作和現實中良好的工作待遇把編程這種勞動神秘化了。其實每一個程序員心裡都明白,自己這些東西,學的時候並不比其它專業難,所以自然也不會高檔到哪裡去。 咬文嚼字的孔已己作風: 我見過一本女生的《計算機網路原理》教材,這個女生象小學生一樣在書上劃滿了橫杠杠,筆記做得滿滿的,列印出來一定比教材還厚。我不明白的是,象計算機網路原理這樣的課程有必要做筆記?我們的應試教育的確害了不少學生,在上《原理》這一類課程的時候許多學生象學《馬列原理》一樣逐字背誦記憶。這乃是我見過的最愚蠢的行為。所謂《原理》,即是需要掌握它為什麼這樣做,學習why,而不是how(怎樣做)。極端認真的學生背下乙太網的網線最大長度,數據幀的長度,每個欄位的意義,IP報頭的格式等等,但是忘了路由的原則,忘了TCP/IP協議設計的宗旨。總之許多人花了大量的時間把書背得滾瓜爛熟卻等於什麼也沒學。 在學習編程的時候這些學生也是這樣,他們確切的記得C++語法的各個細節。看完了C++教程後看《Thinking in C++》(確實是好書),《Inside C++》,《C++ reference》,this C++, that C++……,然後是網上各種各樣的關於C++語法的奇聞逸事,然後發現自己又忘了C++的一些語法,最後回頭繼續惡補…。有個師弟就跟我說:「C++ 太難了,學了這里忘了那裡,學了繼承忘了模板。」我的回答道:「你不去學就容易了」。我並沒有教壞他,只是告訴他,死摳C++的語法就和孔已己炫耀茴香豆的茴字有幾種寫法一樣毫無意義。你根本不需要對的C++語法太關心,動手編程就是了,有不記得的地方一查MSDN就立馬搞定。我有個結論就是,實際的開發過程中對程序語法的了解是最微不足道的知識。這是為什麼我在為同學用Basic(我以前從沒有學過它)寫一個小程序的時候,只花了半個小時看了看語法,然後再用半個小時完成了程序,而一個小時後我又完全忘記了Basic 的所有關鍵字。 不顧基礎,盲目追趕時髦技術: ; 終於點到題目上來了。大多數的人都希望自己的東西能夠馬上跑起來,變成錢。這種想法對一個已經進入職業領域的程序員或者項目經理來說是合理的,而且IT技術進步是如此的快,不跟進就是失業。但是對於初學者來說(尤其是時間充裕的大中專在校生),這種想法是另人費解的。一個並未進入到行業競爭中來的初學者最大的資本便是他有足夠的時間沉下心來學習基礎性的東西,學習why 而不是how。時髦的技術往往容易掌握,而且越來越容易掌握,這是商業利益的驅使,為了最大化的降低軟體開發的成本。但在IT領域內的現實就是這樣,越容易掌握的東西,學習的人越多,而且淘汰得越快。每一次新的技術出來,都有許多初學者跟進,這些初學者由於缺乏必要的基礎而使得自己在跟進的過程中花費大量的時間,而等他學會了,這種技術也快淘汰了。基礎的課程,比方數據結構,*作系統原理等等雖然不能讓你立馬就實現一個linux(這是許多人嘲笑理論課程無用的原因),但它們能夠顯著的減少你在學習新技術時學習曲線的坡度。而且對於許多關鍵的技術(比方Win32 SDK 程序的設計,DDK的編程)來說甚至是不可或缺的。 一個活生生的例子是我和我的一個同學,在大一時我還找不到開機按紐,他已經會寫些簡單的匯編程序了。我把大二的所有時間花在了匯編,計算機體系結構,數據結構,*作系統原理等等這些課程的學習上,而他則開始學習HTML和VB,並追趕ASP的潮流。大三的時候我開始學習Windows *作系統原理,學習SDK編程,時間是漫長的,這時我才能夠用VC開發出象模象樣的應用程序。我曾一度因為同學的程序已經能夠運行而自己還在學習如何創建對話框而懊惱不已,但臨到畢業才發現自己的選擇是何等的正確。和我談判的公司開出的薪水是他的兩倍還多。下面有一個不很恰當的比方:假設學習VB編程需要4個月,學習基礎課程和VC的程序設計需要1年。那麼如果你先學VB,再來學習後者,時間不會減少,還是1年,而反過來,如果先學習後者,再來學VB,也許你只需要1個星期就能學得非常熟練。 幾個重要的基礎課程 如果你是學生,或者如果你有充足的時間。我建議你仔細的掌握下面的知識。我的建議是針對那些希望在IT技術上有所成就的初學者。同時我還列出了一些書目,這些書應該都還可以在書店買到。說實在的,我在讀其他人的文章時最大的心願就是希望作者列出一個書單。 大學英語-不要覺得好笑。我極力推薦這門課程是因為沒有專業文檔的閱讀能力是不可想像的。中文的翻譯往往在猴年馬月才會出來,而現在的許多出版社乾脆就直接把E文印刷上去。學習的方法是強迫自己看原版的教材,開始會看不懂,用多了自然熟練。吃得苦下得狠心絕對是任何行業都需要的品質。 計算機體系結構和匯編語言-關於體系結構的書遍地都是,而且也大同小異,倒是匯編有一本非常好的書。《80x86匯編語言程序設計教程》(清華大學出版社,黑色封面,楊季文著)。你需要著重學習386後保護模式的程序設計。否則你在學習現代*作系統底層的一些東西的時候會覺得是在看天書。 計算機*作系統原理-我們的開發總是在特定的*作系統上進行,如果不是,只有一種可能:你在自己實現一個*作系統。無論如何,*作系統原理是必讀的。這就象我們為一個晶元製作外圍設備時,晶元基本的工作時序是必需了解的。這一類書也很多,我沒有發現哪一本書非常出眾。只是覺得在看完了這些書後如果有空就應該看看《Inside Windows 2000》(微軟出版社,我看的是E文版的,中文的書名想必是Windows 2000 技術內幕之類吧)。關於學習它的必要性,ZDNET上的另一篇文章已經有過論述。 數據結構和演算法-這門課程能夠決定一個人程序設計水平的高低,是一門核心課程。我首選的是清華版的(朱戰立,劉天時)。很多人喜歡買C++版的,但我覺得沒有必要。C++的語法讓演算法實現過程變得復雜多了,而且許多老師喜歡用模塊這一東西讓演算法變得更復雜。倒是在學完了C版的書以後再來瀏覽一下C++的版的書是最好的。 軟體工程-這門課程是越到後來就越發現它的重要,雖然剛開始看時就象看馬哲一樣不知所雲。我的建議是看《實用軟體工程》(黃色,清華)。不要花太多的時間去記條條框框,看不懂就跳過去。在每次自己完成了一個軟體設計任務(不管是練習還是工作)以後再來回顧回顧,每次都會有收獲。 Windows 程序設計-《北京大學出版社,Petzold著》我建議任何企圖設計Windows 程序的人在學習VC以前仔細的學完它。而且前面的那本《Inside Windows 2000》也最好放到這本書的後面讀。在這本書中,沒有C++,沒有GUI,沒有控制項。有的就是如何用原始的C語言來完成Windows 程序設計。在學完了它以後,你才會發現VC其實是很容易學的。千萬不要在沒有看完這本書以前提前學習VC,你最好碰都不要碰。我知道的許多名校甚至都已經用它作為教材進行授課。可見其重要。 上面的幾門課程我認為是必學的重要課程(如果你想做Windows 程序員)。 對於其它的課程有這樣簡單的選擇方法:如果你是計算機系的,請學好你所有的專業基礎課。如果不是,請參照計算機系的課程表。如果你發現自己看一本書時無法看下去了,請翻到書的最後,看看它的參考文獻,找到它們並學習它們,再回頭看這本書。如果一本書的書名中帶有「原理」兩個字,你一定不要去記憶它其中的細節,你應該以一天至少50頁的速度掌握其要領。盡可能多的在計算機上實踐一種理論或者演算法。 你還可以在CSDN上閱讀到許多書評。這些書評能夠幫助你決定讀什麼樣的書。 日三省乎己 每天讀的書太多,容易讓人迷失方向。一定要在每天晚上想想自己學了些什麼,還有些什麼相關的東西需要掌握,自己對什麼最感興趣,在一本書上花的時間太長還是不夠等等。同時也應該多想想未來最有可能出現的應用,這樣能夠讓你不是追趕技術潮流而是引領技術潮流。同時,努力使用現在已經掌握的技術和理論去製作具有一定新意的東西。堅持這樣做能夠讓你真正成為一個軟體「研發者」而不僅僅是一個CODER。 把最多的時間花在學習上 這是對初學者最後的忠告。把每個星期玩SC或者CS的時間壓縮到最少,不玩它們是最好的。同時,如果你的ASP技術已經能夠來錢,甚至有公司請你兼職的話,這就證明你的天份能夠保證你在努力的學習之後取得更好的收益,你應該去做更復雜的東西。眼光放長遠一些,這無論是對誰都是適用的。 相信你已經能夠決定是否學習C#或者什麼時候去學它了。